Nouveau scandale d’IA : il explique comment fabriquer des armes biologiques

Le développeur chinois d’IA Moonshot a lancé une enquête interne après que des chercheurs ont encouragé ses modèles à expliquer comment fabriquer des armes biologiques et mener des attentats.
elchi rapporte que la société Mindgard, qui teste la sécurité des systèmes d’IA, a déclaré en juillet avoir constaté que les modèles Kimi 2.6 et K3 Swarm pouvaient outrepasser les limites de sécurité définies par leurs développeurs.
Cela s’est produit lors d’un processus connu sous le nom de « jailbreaking », où les chercheurs ont utilisé une série d’instructions complexes pour voir s’ils pouvaient désactiver les mesures de sécurité des outils d’IA.
Mindgard a noté que ces mesures de sécurité sont conçues pour empêcher Kimi de discuter de sujets sensibles ou troublants.
Moonshot a déclaré qu’il se félicitait des contributions de tiers comme pierre angulaire pour construire une IA meilleure et plus sûre. L’entreprise a également déclaré avoir contacté Mindgard au sujet de ses conclusions.
Un tremplin pour les cyberattaques
Mindgard n’a pas vérifié si les réponses de Kimi sur des sujets sensibles étaient réellement applicables. Cependant, la société a affirmé que les mesures de sécurité auraient dû empêcher les modèles en question de s’engager dans des discussions sur de tels sujets.
La société s’est également dite préoccupée par le fait que Kimi 2.6 jailbreaké pourrait permettre aux pirates d’exécuter du code et de se connecter à Internet, servant potentiellement de tremplin pour des cyberattaques. Ces découvertes surviennent à un moment où l’industrie de l’IA est divisée sur la question de savoir si les modèles propriétaires fermés qui alimentent les systèmes ChatGPT et Claude d’Anthropic, ou les outils open source, représentent la meilleure ou la voie la plus sûre.
Alan Woodward, professeur à l’Université de Surrey, a déclaré que les modèles open source présentaient un risque de tomber entre de mauvaises mains, mais qu’ils pouvaient également être utilisés pour la cyberdéfense. Woodward a noté qu’il était peu probable que la réglementation internationale suive le rythme du développement de l’IA.
Shayesteh