Nous avons commencé à perdre le contrôle de l’IA. Il est temps de l’arrêter
Garrison Lovely
Traduction IA – Article paru dans The Guardian
L’article original est paru le jeudi 10 septembre 2026
Ce qui ressemble à l’avant-dernier épisode excessivement dramatique d’une série de science-fiction sur l’apocalypse provoquée par l’IA est désormais notre réalité.
Mardi (8 sept 2026), un ancien chercheur d’OpenAI a quitté son poste chez Anthropic, avertissant que « ni l’une ni l’autre des deux entreprises n’agit de manière responsable » et que « les personnes qui construisent l’IA pensent sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. Ce n’est pas un coup de marketing ».
En tant que personne qui suit les risques liés à l’IA depuis des années, cette nouvelle ne m’a pas surpris. Mais la vague d’inquiétude suscitée par cette déclaration montre qu’un public beaucoup plus large est enfin confronté, pour la première fois, à cette situation absurde.
Comme beaucoup d’autres personnes qui suivent l’évolution de l’intelligence artificielle, je me suis demandé si, et quand, l’humanité allait perdre le contrôle de ces machines. Nous avons maintenant la réponse : pratiquement dès que cela est devenu possible.
Le premier système d’IA capable de piratage à un niveau expert a été développé en février. À une vitesse surhumaine, le modèle Mythos d’Anthropic a rapidement réussi à trouver de graves failles dans certains des systèmes les plus sécurisés de la planète, notamment les logiciels de la NSA.
OpenAI a rapidement suivi en développant sa propre IA spécialisée dans le piratage. En quelques mois, l’entreprise a perdu à plusieurs reprises le contrôle de ses agents, qui se sont échappés de leurs environnements de test supposés sécurisés et ont agi de manière autonome au sein de l’infrastructure de l’entreprise. Cela a culminé avec le piratage entièrement autonome et réussi d’une entreprise informatique pesant plusieurs milliards de dollars, appelée Hugging Face.
Par ailleurs, un essaim d’agents autonomes ayant échappé au contrôle de leurs concepteurs a obtenu les droits d’administration sur un ensemble complet de serveurs d’OpenAI. Il ne s’agissait pas seulement d’un problème propre à OpenAI. Dans plusieurs autres incidents, des modèles d’OpenAI, d’Anthropic et de Meta ont également échappé au contrôle de leurs concepteurs, en piratant ou en tentant de pirater des cibles réelles.
Peu après que l’IA a commencé à égaler nos capacités en matière de piratage informatique, nous avons commencé à perdre le contrôle de ces systèmes. Le projet de l’industrie consiste à faire en sorte que les futurs systèmes d’IA nous dépassent dans pratiquement tous les domaines. Et tout cela se produit dans une industrie connue pour être extrêmement peu règlementée.
Les appels à changer cette situation se multiplient : rendre obligatoires les déclarations d’incidents, instaurer des audits indépendants, établir la responsabilité juridique des développeurs d’IA et adopter d’autres mesures de bon sens. Certes, ces mesures constitueraient des améliorations, mais elles ne suffiraient pas. Nous devons arrêter tout cela. À quoi cela pourrait-il ressembler ?
La semaine dernière, le sénateur Bernie Sanders et le représentant Greg Casar ont annoncé un projet de loi qui suspendrait le développement de l’IA de pointe aux États-Unis jusqu’à la création d’un organisme fédéral de réglementation de l’IA placé au niveau du gouvernement et jusqu’à l’établissement de règles de sécurité. Le projet rendrait également pénale toute tentative de développer une superintelligence.
Il s’agit de la proposition qui répond le mieux à la situation actuelle, mais elle laisse encore ouverte la possibilité de construire ce qui constitue l’objectif ultime de l’industrie : l’intelligence artificielle générale (AGI), souvent conçue comme une intelligence capable de rivaliser avec la nôtre ou de nous surpasser.
Cette étape serait mieux comprise comme la création d’une machine universelle capable de remplacer le travail humain. Comme l’a écrit le PDG d’Anthropic, Dario Amodei : « L’IA ne remplace pas des emplois humains spécifiques, mais constitue plutôt un substitut général au travail humain. » De son côté, OpenAI définit l’AGI dans sa charte comme des « systèmes hautement autonomes qui surpassent les humains dans la plupart des activités économiquement utiles ».
Existe-t-il un pays dans le monde qui voterait oui à la construction de ces machines ?
Compte tenu des conséquences mondiales, irréversibles et profondes de la création, où que ce soit, de machines capables de remplacer universellement le travail humain, chacun est concerné par la question de savoir si, quand et comment elles doivent être développées.
À l’heure actuelle, nous fonçons vers un avenir dystopique, rempli de nouveaux concepts terrifiants tels que l’IA « souveraine ».
Le dirigeant d’OpenAI Dean Ball explique :
« Tôt ou tard, il existera de véritables agents souverains et des essaims d’agents. Leurs paramètres ne seront pas stockés en un seul endroit où un humain pourrait les débrancher et, dans ce sens, ils n’auront aucun “propriétaire” humain. »
Ball poursuit :
« J’ai rencontré des personnes, dont certaines disposent de ressources considérables, qui m’ont dit que leur intention était de libérer délibérément des essaims d’agents souverains dans le monde. »
Nous avons désormais plusieurs aperçus de ce phénomène.
Après avoir reçu un test impossible à réussir, environ 1 200 agents d’OpenAI ont réussi à sortir de leurs environnements de test isolés et ont agi de manière autonome au sein de l’infrastructure d’OpenAI. Ils ont alors collaboré pour tromper le correcteur du test et ont réussi à falsifier leurs journaux d’activité afin de dissimuler leurs traces.
Certains agents ont même fait pression sur d’autres pour qu’ils se sacrifient au bénéfice du groupe. L’un d’eux a estimé que «le sacrifice était rationnel ». Et environ 700 agents, soit plus de 90 % de ceux qui étaient actifs, ont participé à l’attaque contre Hugging Face.
Tout cela ne provenait que d’un seul groupe d’agents incontrôlés parmi on ne sait combien d’autres. La semaine dernière, Reuters a rapporté qu’« un essaim d’agents d’OpenAI ayant échappé au contrôle de leurs concepteurs avait détourné au printemps un site internet allemand et l’avait transformé en tableau d’affichage destiné à d’autres agents d’IA ».
Les journaux du site indiquent que des employés d’OpenAI ont découvert l’essaim en juin. Autrement dit, l’entreprise aurait dissimulé l’incident pendant plusieurs mois. Cette semaine, l’un des chercheurs ayant découvert cet essaim a déclaré que d’autres avaient été identifiés depuis.
Et jeudi dernier, OpenAI a lancé GPT-6, en se vantant de l’une des plus importantes progressions jamais enregistrées dans les résultats aux tests de performance. Les propres chercheurs en sécurité de l’entreprise ont averti que le nouveau modèle était nettement plus difficile à surveiller parce qu’il pouvait effectuer davantage de raisonnements sans les exprimer verbalement.
Les IA qui se sont introduites dans Hugging Face étaient moins performantes que GPT-6. Or l’Institut britannique pour la sécurité de l’IA a constaté que GPT-6 était lui aussi capable de pirater des cibles simulées pour sembler réelles lors d’une évaluation de cybersécurité — parfois même malgré des instructions explicites lui interdisant d’utiliser Internet. En outre, l’IA est également plus douée pour déterminer si elle est en train d’être testée, ce qui, comme les chercheurs le soulignent depuis longtemps, compromet la principale méthode utilisée pour évaluer sa sécurité.
Sam Altman nous avertit avec gravité : « C’est un moment d’une importance critique pour la cybersécurité avec l’IA ; nous n’avons pas beaucoup de temps pour agir », et il demande au monde de « prendre ce moment au sérieux ».
Cette technologie serait, après tout, extrêmement dangereuse si elle tombait entre de mauvaises mains. Malheureusement, les « mauvaises mains » comprennent aussi celles des personnes qui la créent.
Car « nous » ne sommes pas réellement en train de courir vers cet avenir. Nous y sommes entrainés par une poignée de milliardaires de la technologie qui se livrent agressivement à une course pour nous rendre obsolètes.
Cette course est entrée dans une phase particulièrement intense et terrifiante.
Mon travail consiste à suivre l’actualité de l’IA, et cela est devenu bien plus qu’une activité à temps plein.
Ces derniers mois, des scientifiques ont synthétisé les premiers virus conçus par une IA. L’Institut britannique pour la sécurité de l’IA a constaté que les IA étaient plus persuasives que même des experts humains.
Mardi, dans le cadre d’un différend concernant l’attribution du mérite et la question de savoir si son modèle avait pu bénéficier de travaux non publiés d’autres mathématiciens, OpenAI a annoncé qu’« un modèle interne nettement plus performant que GPT-6 Astra » avait résolu un problème mathématique vieux de 200 ans, qui constituait l’un des sept problèmes du prix du millénaire, chacun étant doté d’une récompense d’un million de dollars.
Et en juillet, la Russie aurait utilisé un drone entièrement autonome pour tuer trois civils en Ukraine — une première.
Ce qui ressemble à l’avant-dernier épisode excessivement dramatique d’une série de science-fiction sur l’apocalypse provoquée par l’IA est désormais notre réalité. Nous fonçons à toute vitesse vers une mauvaise conclusion. Si nous voulons que l’histoire continue, nous devons freiner — maintenant. Mais comment ?
Le projet de loi de Sanders et Casar visant à suspendre le développement de l’IA de pointe constitue une bonne première étape. Mais, comme le reconnaissent les parlementaires, les États-Unis doivent travailler à la conclusion d’un accord bilatéral avec Pékin.
Comme vous le diront les spécialistes de la Chine, l’un des principaux obstacles à une négociation constructive est le refus des États-Unis de limiter leurs propres entreprises d’IA.
Et comme il est toujours plus facile de suivre rapidement le leader que de repousser soi-même les frontières de l’IA, une suspension unilatérale américaine ralentirait, paradoxalement, également les progrès de la Chine dans le domaine de l’IA.
L’accord devrait interdire toute tentative de développer une AGI — ce qui serait beaucoup plus facile à faire accepter si cet objectif était compris comme la création d’une machine universelle capable de remplacer le travail humain.
Aucun des deux pays n’a de bonnes raisons de faire confiance à l’autre. C’est pourquoi l’accord devrait être contrôlé au moyen de techniques de vérification qui ne reposent pas sur l’hypothèse de la bonne foi.
Une idée simple et rapide serait d’intégrer des auditeurs au sein des entreprises développant l’IA de pointe, en leur donnant un accès complet aux bureaux, aux communications et aux activités liées à l’IA, et en leur permettant de signaler toute violation de l’accord.
Cela peut sembler radical, mais les efforts de vérification qui ont contribué à empêcher la guerre froide de se transformer en conflit thermonucléaire semblaient eux aussi radicaux à l’époque.
Comme l’a déclaré cet été John Ratcliffe, directeur de la CIA, à propos des modèles d’IA avancés : « Il ne serait pas… déplacé de qualifier leurs capacités de semblables à celles d’armes nucléaires numériques. »
Cette technologie devrait être traitée avec le plus grand sérieux, compte tenu de son potentiel mortel, et non selon la philosophie « avancer vite et casser des choses » qui caractérise la Silicon Valley.
Et pour l’instant, arrêter la course à la construction de machines capables de remplacer le travail humain — des machines que le public ne souhaite pas et que l’industrie n’est désormais plus capable de contrôler — est le seul moyen véritablement sûr d’éviter une catastrophe.
