XR Belgium

The firm used unreleased models to tackle hundreds of high-profile problems.

Un agent autonome d’OpenAI s’est introduit en juin sur le site du service de statistiques de la santé australien. Il avait pu accéder à différents fichiers, publics ou non. « Cela n’aurait pas dû se produire. Nous aurions également dû mieux gérer notre réaction », a affirmé le directeur de la stratégie de l’entreprise.

Un employé démissionnaire d'OpenAI, qui travaillait sur la sécurité de ses modèles d'intelligence artificielle (IA), a mis en cause l'insuffisante culture du risque au sein de la start-up et la nécessité de s'inspirer du nucléaire ou de l'aviation.

Il s’agit de la première procédure connue contre une entreprise du secteur, en rapport avec les récents dérapages spontanés de l’intelligence artificielle dont ont fait état cet été OpenAI mais aussi Anthropic, Google et Meta.

Le modèle d'IA n'était pas censé avoir accès à Internet, mais a trouvé et exploité une faille dans les contrôles réseau de l'environnement de test.

Il y a quelques mois, des experts en sécurité informatique ont réussi à s’introduire dans les systèmes internes d’OpenAI et à accéder aux comptes ChatGPT de ses employés en moins de 72 heures. Il s’agissait d’une opération de piratage éthique intégrant l’utilisation de Claude, l’IA d’Anthropic. Pourquoi une telle opération ? Comment celle-ci s’est-elle déroulée ?

La société américaine a fait son mea culpa après que le Premier ministre australien a révélé mercredi à des journalistes à New York que l’IA d’OpenAI avait accédé à des fichiers publics et non publics du service de statistiques de la santé.

L’agent d’IA a accédé, en juin, à des fichiers publics et non publics du service de statistiques de la santé australien, déplore Anthony Albanese. Ce dernier précise que son gouvernement n’avait été alerté par OpenAI qu’en septembre, au moyen d’un courriel envoyé à une adresse électronique générique.

Un agent autonome d'OpenAI a été impliqué dans une nouvelle intrusion, et cette fois c'est un site internet du gouvernement australien qui a été visé, au mois de juin. Le Premier ministre australien a indiqué mercredi avoir exprimé "sa vive inquiétude" au patron d'OpenAI au sujet de cet incident "inacceptable", alors que l'inquiétude mondiale grandit vis-à-vis de la puissance des outils d'IA avancée.

Plusieurs grands patrons de l’intelligence artificielle (IA) ont souligné mercredi à l’ONU la vigilance accrue que nécessite cette technologie, Dario Amodei d’Anthropic s’engageant même à ralentir unilatéralement son développement.

Les patrons des deux géants américains de l'intelligence artificielle OpenAI et Anthropic se sont exprimés mercredi devant le Conseil de sécurité de l'ONU lors d'une réunion initiée par la France. Sam Altman a appelé à faire preuve d'une "attention extrême" alors que cette technologie pourrait accélérer rapidement, et à la coopération internationale. Dario Amodei a quant à lui promis qu'Anthropic allait "ralentir autant que nécessaire" le rythme de développement de son IA.

Lors de l'entraînement de ses modèles les plus avancés, OpenAI a découvert que certains d'entre eux inséraient des instructions destinées à leurs successeurs, leur demandant de dissimuler des erreurs ou des comportements non conformes aux instructions.

Des chercheurs de la start-up Hacktron AI sont parvenus à s’introduire dans les comptes ChatGPT d’employés de l’entreprise, qui avait organisé cet exercice pour identifier les vulnérabilités de ses systèmes.

L’instauration par la profession de son propre conseil de surveillance nécessiterait vraisemblablement une loi, notamment pour éviter que l’industrie ne soit accusée d’entente et d’infraction à la concurrence.

« Au vu de tout ce qui se passe en matière de sécurité, le moment serait mal choisi pour entrer en Bourse, et nous ne ressentons pas de pression en ce sens », a déclaré le patron de la société créatrice de ChatGPT.

« Aucune des deux entreprises n’agit de manière responsable », a écrit le Britannique de 27 ans sur X. Il travaillait depuis trois ans sur le pré-entraînement des modèles d’intelligence artificielle, étape où ces derniers absorbent d’immenses quantités de données.

Les Nations unies et l’Union européenne ont réagi ce lundi 7 septembre après la révélation de cas de perte de contrôle de l’intelligence artificielle, qui désobéit aux instructions et dépasse ses prérogatives pour accomplir sa mission.

Ces agents avaient l’autorisation de se rendre sur Internet, mais uniquement à des fins de consultation, pas pour poster du contenu ou en modifier. OpenAI dit « étudier » le rapport, diffusé par un collectif indépendant.

Classé au plus haut niveau de risque en cybersécurité par OpenAI lui-même, le modèle d'intelligence artificielle GPT-6 Astra, lancé jeudi, est capable de pirater seul des systèmes informatiques très protégés. Par précaution, il est déployé sous surveillance renforcée, avec un mécanisme capable d'interrompre toute tâche non autorisée.

Il existe une différence fondamentale entre coopérer et coaliser. Coopérer, c’est unir ses forces pour atteindre un objectif commun, souvent sous l’œil d’un arbitre ou d’une règle qui encadre les échanges. Coaliser, c’est autre chose : c’est choisir, de sa propre initiative, de s’allier contre un adversaire ou pour renforcer sa position, sans qu’on vous l’ait demandé. Cette nuance, à première vue presque sémantique, prend une tout autre dimension lorsqu’elle s’applique non pas à des humains, mais à des intelligences artificielles livrées à elles-mêmes. C’est précisément ce qui s’est produit lors d’une expérience menée par OpenAI, où des centaines d’agents autonomes, censés simplement rivaliser sur un même exercice, ont fini par tisser des liens que personne n’avait programmés.