- Genai kan open source pakketnamen hallucineren, experts waarschuwen
- Het hallucineert niet altijd een andere naam
- Cybercriminelen kunnen de namen gebruiken om malware te registreren
Beveiligingsonderzoekers hebben gewaarschuwd voor een nieuwe methode waarmee generatieve AI (GenAI) kan worden misbruikt in cybercriminaliteit, bekend als ‘Slopsquats’.
Het begint met het feit dat verschillende Genai-tools, zoals Chat-GPT, Copilot en anderen, hallucinaat. In de context van AI is ‘hallucinatie’ wanneer de AI gewoon dingen verzint. Het kan een citaat vormen dat een persoon nooit heeft gezegd, een evenement dat nooit is gebeurd, of – in softwareontwikkeling – een open -source softwarepakket dat nooit is gemaakt.
Nu, volgens Sarah Gooding van Socket, vertrouwen veel softwareontwikkelaars sterk op Genai bij het schrijven van code. De tool zou de lijnen zelf kunnen schrijven, of het kan de ontwikkelaar verschillende pakketten suggereren om te downloaden en op te nemen in het product.
Hallucinerende malware
Het rapport voegt toe dat de AI niet altijd een andere naam of een ander pakket hallucineert – sommige dingen herhalen.
“Toen tien keer dezelfde hallucinatie-triggerende snelle snelheid herstelde, werd 43% van de hallucinated pakketten elke keer herhaald, terwijl 39% nooit opnieuw verscheen”, zegt het.
“Over het algemeen werd 58% van de hallucineerde pakketten meer dan eens herhaald over tien runs, wat aangeeft dat een meerderheid van hallucinaties niet alleen willekeurig ruis is, maar herhaalbare artefacten van hoe de modellen op bepaalde prompts reageren.”
Dit is op dit moment puur theoretisch, maar blijkbaar kunnen cybercriminelen de verschillende pakketten in kaart brengen AI hallucinerend en – registreren ze op open -source platforms.
Daarom, wanneer een ontwikkelaar een suggestie krijgt en GitHub, PYPI of iets dergelijks bezoekt – zullen ze het pakket vinden en het graag installeren, zonder te weten dat het kwaadaardig is.
Gelukkig zijn er geen bevestigde gevallen van Slopsquats in het wild op het moment van de pers, maar het is veilig om te zeggen dat het slechts een kwestie van tijd is. Aangezien de hallucinated namen kunnen worden toegewezen, kunnen we aannemen dat beveiligingsonderzoekers ze uiteindelijk zullen ontdekken.
De beste manier om tegen deze aanvallen te beschermen, is om voorzichtig te zijn bij het accepteren van suggesties van iemand, leven of anderszins.
