Machine Learning (ML) en Artificial Intelligence (AI) zijn essentiële componenten van een effectieve cybersecurity-oplossing. Het gebruik van ML en AI wordt dan ook steeds gebruikelijker en de cybersecurity-sector is door het groeiend aantal aanvallen vaker afhankelijk van deze technologieën. Toch is het belangrijk om niet te vergeten dat AI geen wondermiddel is en dat het ook juist nieuwe aanvalsopvlakken met zich meebrengt.
Bedrijven moeten zich bewust zijn van deze risico’s en de beperkingen van AI. Alleen dan kunnen de eindverantwoordelijken van het cybersecuritybeleid controleren of hun tools bestand zijn tegen nieuwe bedreigingen, zoals Adversarial Machine Learning (AML). AML is een opkomend studiegebied dat zich bezighoudt met technologie die ML- en AI-systemen aanvalt, bijvoorbeeld door het misleiden en omzeilen van AI-detectoren. Bewustwording en herkenning van deze nieuwe soort aanvallen is cruciaal.
Een aanval op ML-modellen
ML-oplossingen maken gebruik van statistiek en een reeks algoritmen om datasets te analyseren en patronen te herkennen. Dit vormt de basis voor het creëren van nieuwe soorten aanvallen die gebruikmaken van AI en ML. Een overzicht hiervan vind je in de MITRE ATLAS.
Data poisonin
Een veelgebruikte techniek is data poisoning. Bij deze techniek wordt de data gemanipuleerd die gebruikt wordt om AI-modellen te trainen. Deze modellen leren hoe ze moeten reageren op input van grote datasets, de ‘ground truth’ genoemd. Cybercriminelen kunnen een poging doen om foutieve informatie toe te voegen aan de ground truth, waardoor die informatie wordt meegenomen in het trainingsproces van het AI-systeem. Dit leidt ertoe dat het model verkeerd reageert op bepaalde invoergegevens, zoals het foutief classificeren van een malwarebestand als betrouwbaar.
Data poisoning-aanvallen kunnen op verschillende manieren worden uitgevoerd. Een gebruikelijke techniek is het manipuleren van openbare datasets die gebruikt worden om AI-algoritmen die veel data nodig hebben te trainen. Wanneer AI bijvoorbeeld rechtstreeks van gebruikersinput leert, kunnen cybercriminelen die toegang benutten om het AI-systeem aan te tasten. Dit gebeurde met de Twitter bot Tay, waarbij de AI moest leren van gesprekken met andere Twittergebruikers. Gebruikers manipuleerden de bot opzettelijk, waardoor deze binnen een dag haatzaaiende berichten plaatste.
Adversarial examples
ML-systemen zijn gevoelig voor aanvallen waarbij hackers het voorspellingssysteem van het model proberen te misleiden. Zo kunnen aanvallers gebruik maken van zogenaamde ‘adversarial examples’. Dit zijn invoergegevens met kleine verstoringen die het ML-systeem verwarren, waardoor deze tot een verkeerde classificatie komt. Een voorbeeld van zo’n type aanval is het veranderen van een paar pixels in een afbeelding voordat deze ergens wordt geplaatst. Zo kan het beeldherkenningssysteem de afbeelding niet of anders classificeren. Kleine pixelwijzigingen zijn meestal niet zichtbaar voor het blote oog of niet direct herkenbaar als een aanval, maar resulteren in compleet verschillende modeloutput.
Een voorbeeld hiervan: onderzoekers hebben handmatig een schadelijk bestand aangepast bij een evasion attack, zodat de AI-detectie van een antivirusleverancier het als legitiem bestempelt. De onderzoekers deden dit door strings uit legitieme software te halen en aan malware toe te voegen. Het AI-model vond deze legitieme strings zwaarder wegen dan de kwaadaardige onderdelen van het bestand en classificeerde het schadelijke bestand vervolgens onterecht als goedaardig.
Kennis is macht als het aankomt op AI-modellen
Een aanval op een ML-systeem heeft grotere kans van slagen als er veel voorkennis over het systeem is. Hoe meer kennis aanvallers hebben, hoe makkelijker zij de juiste aanvalsmethode kunnen kiezen en de aanval kunnen uitvoeren. Zo kregen hackers bijvoorbeeld in eerdergenoemde evasion attack op een antivirusleverancier toegang tot het model en de software. Dit wordt een whitebox-aanval genoemd. De aanvallers konden de algoritmes analyseren en zo de juiste strings vinden om het systeem succesvol te misleiden.
Aan de andere kant van het spectrum bevinden zich blackbox-aanvallen. Hierbij hebben cybercriminelen weinig tot geen kennis van een AI-model. Als het model een statistische zekerheid geeft bij de classificatie, bijvoorbeeld de waarschijnlijkheid dat een bestand malware is, kunnen aanvallers op gradiënt gebaseerde methoden gebruiken. Zij kunnen een malwarebestand wijzigen, vervolgens de malwarewaarschijnlijkheid die het model berekent controleren en het bestand blijven wijzigen totdat er een zeer lage waarschijnlijk van malware aan wordt toegekend.
Hoe kun je Machine Learning-modellen beschermen?
Om ML-systemen te beschermen, kunnen bedrijven methoden gebruiken die aanvallen kunnen voorkomen, bemoeilijken of detecteren. Wanneer er bijvoorbeeld goedaardige strings worden toegevoegd aan een malwarebestand, zal een monotoon classificatiemodel het bestand nog steeds juist detecteren. Hiervoor maakt het het model niet uit hoeveel goedaardige kenmerken een bestand heeft, zolang er maar tekenen van malware zijn. Niet alle aanvallen op AI kunnen echter makkelijk worden afgeweerd.
Bedrijven hebben toegang tot een scala aan databronnen, zoals het gebruik van Extended Detection and Response (XDR) om zichzelf te beschermen tegen AML-aanvallen. Het is echter belangrijk om als verdediger niet alleen uit te gaan van AI en hierop blindelings te vertrouwen. AI brengt namelijk ook weer aanvalsoppervlakken met zich mee. Het is dus als organisatie belangrijk om AI-monoculturen te vermijden en bijvoorbeeld aanvalsindicatoren te integreren. Daarnaast moeten beveiligingsleveranciers zich beseffen dat menselijke expertise noodzakelijk is. Om een sterke verdediging te vormen moeten AML-aanvallen immers herkend en AI-modellen hierop aangepast worden.
Sven Krasser, Senior Vice President en Chief Scientist bij CrowdStrike
Ook interessant:
- Ransomware: welke bedrijven zijn het vaakst doelwit?
- Metaverse begint volwassen te worden, maar hoe bescherm je de metaverse-identiteit?
- Fileless malware is in opmars
- ‘Angstaanjagende’ stijging van aantal ransomware-aanvallen