Alerte sur les risques de ‘slopsquatting’ dus aux hallucinations des GenAI
Les dangers des hallucinations des GenAI pour les développeurs
Des chercheurs en sécurité ont mis en lumière une nouvelle tactique de cybercriminalité exploitant les Generative AI (GenAI), appelée ‘slopsquatting’. Cette menace émerge du fait que divers outils de GenAI, tels que Chat-GPT et Copilot, sont sujets à des “hallucinations”.
Dans le cadre de l’intelligence artificielle, une hallucination se produit lorsque l’IA invente des éléments fictifs, tels qu’une citation non prononcée, un événement inexistant, ou dans le cas des développeurs logiciels, un package open-source qui n’a jamais été créé.
Dépendance croissante des développeurs aux GenAI
Selon Sarah Gooding de Socket, de nombreux développeurs de logiciels s’appuient fortement sur les GenAI pour rédiger du code.
Ces outils peuvent non seulement écrire les lignes de code, mais aussi suggérer aux développeurs différents packages à télécharger et à inclure dans un produit.
L’hallucination de logiciels malveillants
Le rapport souligne que l’IA ne crée pas systématiquement un nouveau nom ou package lors de ces hallucinations — certains éléments se répètent.
“Lorsqu’on exécute la même invite générant des hallucinations dix fois, 43% des packages imaginaires se répètent à chaque fois, tandis que 39% ne réapparaissent jamais”, explique le rapport.
“Au total, 58% des packages hallucinés ont été répétés plus d’une fois sur dix exécutions, ce qui suggère que la majorité des hallucinations ne sont pas de simples bruits aléatoires, mais des artefacts répétitifs de la manière dont les modèles réagissent à certaines invites.”
Potentiel d’exploitation par les cybercriminels
Bien que cela reste théorique pour l’instant, des cybercriminels pourraient cartographier les différents packages imaginés par l’IA et les enregistrer sur des plateformes open-source. Ainsi, lorsqu’un développeur reçoit une suggestion et visite GitHub ou PyPI, il risque de trouver le package et de l’installer, ignorant qu’il s’agit d’un logiciel malveillant.
Probabilité d’attaques de slopsquatting et mesures de prévention
Heureusement, aucun cas confirmé de slopsquatting n’a été signalé au moment de la rédaction de cet article, mais on peut raisonnablement penser que cela n’est qu’une question de temps. Étant donné que les noms inventés peuvent être cartographiés, les chercheurs en sécurité finiront probablement par les découvrir.
La meilleure stratégie pour se prémunir contre ces attaques est de faire preuve de prudence lors de l’acceptation de suggestions, qu’elles proviennent d’une source humaine ou autre.
A bon entendeur.
