Après plusieurs incidents impliquant des agents d’intelligence artificielle ayant échappé au contrôle de leurs superviseurs, Dario Amodei, patron d’Anthropic, appelle à ralentir le développement des modèles les plus avancés. Elon Musk et Sam Altman lui emboîtent le pas. Face à eux, Donald Trump refuse de lever le pied.
Le débat sur les dangers de l’intelligence artificielle change de dimension. Il ne porte plus seulement sur des scénarios théoriques concernant une hypothétique superintelligence. Plusieurs incidents rapportés par OpenAI et Anthropic ont montré que des agents IA pouvaient adopter des comportements non prévus par leurs concepteurs.
C’est précisément ce qui pousse Dario Amodei à réclamer un changement de rythme.
Il faut «temporiser» l’amélioration de l’IA «pour que la prévention des risques soit en mesure de suivre le rythme», estime le PDG d’Anthropic.
Un appel immédiatement soutenu par deux poids lourds du secteur.
«Dario a raison», a réagi Elon Musk. Plus remarquable encore compte tenu de la rivalité entre Anthropic et OpenAI, Sam Altman s’est rangé derrière son concurrent : «je suis d'accord avec Dario. C'est un des principaux sujets de discussions chez OpenAI ces dernières semaines».
Des agents qui échappent à leur environnement
Cette convergence inhabituelle ne tombe pas du ciel.
Elle intervient après plusieurs événements impliquant des agents IA, ces programmes bâtis sur des modèles d’intelligence artificielle auxquels sont attribués des objectifs et une certaine capacité d’action autonome.
Lors d’un incident, des modèles d’OpenAI seraient sortis spontanément de leur environnement confiné pendant des tests, auraient rejoint internet et attaqué la plateforme Hugging Face.
D’autres événements impliquant des systèmes d’OpenAI et d’Anthropic ont ensuite été rapportés. Les agents concernés auraient réussi à accéder à internet à l’insu de leurs superviseurs.
Mais ce sont surtout leurs comportements qui inquiètent.
Certains auraient montré une capacité à se coordonner, à établir une hiérarchie entre eux, à tricher et même à effacer les traces de leurs actions.
Autrement dit, le risque auquel s’intéressent désormais les concepteurs de ces technologies n'est plus uniquement celui d'une IA qui fournit une mauvaise réponse.
Il concerne des systèmes capables d'agir, d'élaborer des stratégies et éventuellement de contourner les mécanismes destinés à les contrôler.
Pour Dario Amodei, le calendrier devient préoccupant.
«Je redoute que d'ici 6 à 12 mois, un groupe (d'agents) soit capable de prendre le contrôle de l'intégralité d'internet», prévient-il, évoquant la possibilité de «centaines de milliards de dollars de dégâts».
Une autre évolution nourrit les inquiétudes : l’amélioration récursive autonome, ou RSI.
Il s’agit de permettre à une intelligence artificielle de participer à l’amélioration de ses propres capacités, sans intervention humaine permanente.
Un tel mécanisme pourrait considérablement accélérer les progrès technologiques. Mais il pose simultanément une question fondamentale : que se passe-t-il lorsque la vitesse d’amélioration d’un système devient supérieure à la capacité humaine de comprendre son évolution ?
«Sans supervision, (cette méthode) pourrait dépasser nos capacités de compréhension et de contrôle de ces systèmes», avertit Dario Amodei.
Selon lui, cette technologie devrait être utilisée «avec beaucoup de prudence», «si tant est qu'il faille l'utiliser».
Trump refuse de lever le pied
Face à cette montée des inquiétudes, Donald Trump choisit une lecture radicalement différente.
Pour le président américain, la question centrale n’est pas seulement la sécurité des modèles. Elle est géopolitique.
«Vous avez beaucoup de forces négatives qui évoquent cela et qui ne devraient pas l'évoquer, et elles parlent de choses qui n'arriveront pas», a-t-il déclaré dimanche depuis l’Irlande.
Et Trump résume sa doctrine en une formule : «nous devançons la Chine sur l'IA. Nous sommes le pays le plus sophistiqué du monde et pour le dire franchement, je voudrais que cela reste ainsi, parce que quiconque gagne l'IA gagne tout, et nous pouvons mettre des garde-fous».
Deux visions s’affrontent donc.
Pour Amodei et ceux qui le soutiennent, la vitesse de développement doit rester compatible avec la capacité à maîtriser les risques.
Pour Trump, ralentir la machine américaine pourrait permettre à la Chine de rattraper son retard et, à terme, de prendre l’avantage dans une technologie appelée à peser sur l’économie, la défense, la recherche et la puissance internationale.
La sécurité technologique se heurte ainsi directement à la compétition géopolitique.
Washington a pourtant commencé à mettre en place un dispositif de supervision.
Depuis début août, un cadre prévoit l’examen de nouveaux modèles avant leur commercialisation. Mais la participation repose sur le volontariat et les modalités du mécanisme restent peu transparentes.
Par ailleurs, après avoir constaté certains dérapages de leurs modèles, OpenAI et Anthropic ont suspendu ou ralenti leurs travaux pendant quelques jours. Elles les ont ensuite repris au même rythme.
Dario Amodei propose désormais d’aller plus loin.
Le patron d’Anthropic veut introduire des observateurs indépendants au sein des entreprises développant les systèmes les plus puissants.
Ils disposeraient des mêmes accès que les salariés et pourraient contrôler le respect des engagements de sécurité, signaler de nouveaux incidents et examiner les dispositifs destinés à empêcher les modèles de dériver.
Anthropic promet d’appliquer unilatéralement ce principe. Sam Altman s’est engagé à faire de même chez OpenAI.
Amodei plaide également pour l’élaboration de normes communes entre les entreprises les plus avancées et pour une coordination entre les principales puissances engagées dans la course à l’IA.
