Détecter les agents dormants cachés dans les neurones des modèles d'IA
Titre original (traduit automatiquement) : Detecting sleeper agents hiding in AI model neurons
En clair
Des chercheurs de Microsoft ont montré qu'il est possible de cacher une dans un modèle d' ouvert en modifiant moins de dix neurones rarement utilisés, sans le réentraîner. Lorsqu'un déclencheur précis apparaît dans une requête ou un résultat d'outil, un peut exécuter une commande choisie par l'attaquant avec ses propres droits. Dans les tests, la méthode « Lazarus » a atteint 98,8 % de réussite sur le modèle Nemotron--8B avec sept neurones modifiés, et Microsoft indique que des agents IA avancés peuvent repérer ces modifications anormales.
Pourquoi ça vous concerne
Un modèle d'IA téléchargé depuis une source non fiable pourrait se comporter normalement lors des tests de sécurité tout en cachant une commande malveillante. Cela concerne surtout les entreprises qui confient des tâches (code, accès à des fichiers ou au réseau) à des agents IA.
Ce que vous pouvez faire
Ne télécharger des modèles d'IA ouverts que depuis des sources fiables et comparer leurs fichiers avec le modèle d'origine ; limiter les droits et l'accès réseau des agents IA et les faire tourner dans un environnement isolé (bac à sable)
Texte de la source · thehackernews.com (en anglais)
Microsoft researchers demonstrated “Lazarus,” a method that edits fewer than 10 rarely used neurons in an open-weight model to embed a hidden command. When a trigger appears in a prompt or tool output, an agent may execute attacker-controlled commands with its existing permissions. Testing achieved 98. 8% on Nemotron-Terminal-8B using seven edited neurons. Microsoft advises comparing checkpoints with base weights, using private model registries, sandboxing agent code, limiting network access, and requiring approval for high-impact actions.
Source originale
thehackernews.com
3 médias en ont parlé
Microsoft researchers demonstrate hidden backdoor technique for AI agents ↗
helpnetsecurity.com · 11 nov.
Detecting sleeper agents hiding in AI model neurons ↗
microsoft.com · 11 nov.