Tout a commencé par le piratage informatique du site Hugging Face par des IA agentiques1 ayant échappé au contrôle d’OpenAI. Rapidement, ses concurrents Méta, Anthropic et le chinois Moonshot AI ont affirmé avoir provoqué des incidents similaires lors des phases de test de leurs propres programmes.
Loin de calmer les inquiétudes, OpenAI a annoncé en grande pompe la sortie de son tout dernier modèle, ChatGPT6 “Astra”, en expliquant avoir supprimé un des mécanismes clés permettant de surveiller les agissements du programme. Cette décision a provoqué une vague d’inquiétude parmi les experts, alors même que les dirigeants d’OpenAI affirmaient que ChatGPT6 avait atteint l’AGI (pour Artificial General Intelligence, terme désignant généralement une IA surpassant les humains dans la plupart des tâches intellectuelles). Un propos rapidement validé par un tweet du PDG de Nvidia Jensen Huang (8e fortune mondiale, dont l’entreprise fournit les puces permettant d’entrainer et de faire fonctionner les IA génératives). Jensen félicitait OpenAI d’avoir mis au point la première AGI “avec cent mille GPU Nvidia”.
À peu près au même moment, OpenAI annonçait avoir résolu un problème de mathématiques occupant les chercheurs depuis des décennies, les fameuses équations de Navier-Stokes servant à décrire les écoulements des fluides en régime turbulent.
C’est dans ce contexte un peu tendu que Jacob Coxon, jeune chercheur en Intelligence artificielle de 27 ans, passé par OpenAI, a démissionné bruyamment d’Anthropic en publiant une série de tweets alertant sur le fait que ses deux derniers employeurs “foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies. (…) Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici à la fin de la décennie. Ce n’est pas un coup marketing. »
La viralité de ce message, qui a valu à son auteur un entretien dans les colonnes du Wall Street Journal, a été décuplée par la réaction d’Evan Hubinger, responsable de la sureté chez Anthropic :
« Jacob a raison sur ce point : nous croyons vraiment, sincèrement, que l’IA pourrait tuer tous les humains ! Personnellement, je pense que ce chiffre dépassera les 10% d’ici dix ans.»
Dans la foulée, Dario Amodei, le patron d’Anthropic, a publié un billet de blog dans lequel il alerte sur le risque que “d’ici six à neuf mois, des essaims d’IA agentiques prennent le contrôle d’internet” en insistant sur le fait qu’un tel scénario “entrainerait des centaines de milliards de dollars de perte économique”. Son texte se conclut par un appel à “ralentir le développement de l’IA” et à mettre en place des régulations. Pour bien appuyer le message, Anthropic vient d’affirmer avoir bloqué des potentielles tentatives de construction d’armes biologiques par des utilisateurs de ses produits.
Sam Altman (OpenAI) et Elon Musk (SpaceX) ont rapidement souscrit à l’appel au ralentissement, tout comme la direction de Google. Donald Trump leur a adressé une fin de non-recevoir, qualifiant implicitement Amodei de traitre à la nation avant de justifier son refus par la nécessité de conserver une avance technologique sur la Chine.
Tout cela a de quoi laisser le citoyen lambda dans un état d’angoisse insupportable. Si on prend les déclarations de l’Industrie au pied de la lettre, les IA les plus avancées sont déjà toutes puissantes, échappent facilement au contrôle de leurs créateurs, ne peuvent plus être aisément surveillées, pourraient mettre au pas l’économie mondiale en prenant le contrôle d’Internet d’ici la fin de l’année et auraient une chance sur dix de nous tuer tous d’ici 2030. La seule personne capable d’arrêter cette folie serait Donald Trump, un président qui assimile les demandes de régulation à de la haute trahison.
Admettez qu’il y a de quoi devenir fou ! Surtout lorsqu’on écoute les journalistes français opérant dans les médias généralistes, qui accréditent et amplifient ce récit sans le moindre recul.
Pointer l’évidence, à savoir que tout cela profite aux labos d’IA sur le point d’entrer en bourse, dans une industrie où les enjeux se chiffrent en milliers de milliards de dollars, ne suffit pas. Comme il est insuffisant de noter l’intérêt partagé par tous les acteurs gravitant autour de cette industrie (blogueurs et influenceurs, financiers, fournisseurs, employés et investisseurs …) à encourager cette hystérie. Il faut aussi interroger la crédibilité du récit qui se met en place.
On repense forcément au livre de Thibault Prévost, “Les prophètes de l’IA, pourquoi la Silicon Valley nous vend l’apocalypse”, qui dénonçait dès 2024 le sensationalisme sur lequel repose cette industrie. Ou à mon propre post sur “l’âge des Fake Tech”.
Face à ce nouveau cycle de “hype”, Olivier Tesquet se demandait “si ces scénarios du pire n’agissent pas comme une forme paradoxale de soulagement. C’est la fin de l’Histoire pour ceux qui ne croient plus en aucun grand récit mobilisateur du XXe siècle.” Une forme d’éco anxiété pour bourgeois occidentaux à l’abri des risques encourus par le reste de la population mondiale : crise économique et sociale, violences policières et politiques, crise écologique, guerres et bombardements, suggère la chercheuse américaine Timnit Gebru au magazine Wired.
Comment expliquer autrement le rôle de propagandiste endossé par les grandes rédactions occidentales ?
Car la réalité est à la fois beaucoup moins préoccupante et bien plus dangereuse. L’IA ne nous menace pas en tant qu’espèce, mais elle produit des effets désastreux ici et maintenant : pollution climaticide des data centers, utilisateurs poussés au suicide ou encouragés à commettre des tueries de masse, surexploitation au travail, affaissement intellectuel, dégradation de l’éducation, déresponsabilisation des décideurs, crimes de guerre engendrés par la délégation de la prise de décision… Anthropic, à qui on prête toutes les vertus par opposition au méchant OpenAI, développe un logiciel de surveillance de masse pour traquer les opposants politiques aux data centers. Voilà un risque concret et immédiat dont personne ne parle.
Les agences de renseignement américaines ne s’y trompent pas : comme le révèle le journaliste américain Ken Klippenstein, leurs rapports ne mentionnent pas les risques existentiels agités par les pontes de la Silicon Valley, mais ils notent que l’IA présente un risque d’exacerbation des dangers déjà présents : désinformation pour déstabiliser les démocraties, cyber attaques, délinquance financière, diffusion des connaissances nécessaires à la mise au point d’armes chimiques ou biologiques... Que des choses qui existaient déjà il y a 30 ans.
“Mais OpenAI a renoncé à entrer en bourse dès 2026 et Anthropic vient d’annoncer un délai d’un mois pour sa propre IPO”, me direz-vous ? Ces décisions financières n’ont pas nécessairement de lien avec la question qui nous occupe. Et même si les préoccupations en matière de sécurité étaient à l’origine de cette prudence, cela peut très bien s’expliquer par le fait qu’OpenAI et Anthropic aient besoin de muscler leurs capacités en matière de cybersécurité pour éviter de s’exposer à des poursuites, et non par le faitque leurs IA soient devenues surpuissantes.
Mais je vois que vous n’êtes pas encore convaincu, alors reprenons les choses point par point.
1) Non, les IA agentiques dernier cri ne font pas peser un risque cyber inédit
Pour la chercheuse américaine Emily Bender, le piratage d’Hugging Face par les IA agentiques d’OpenAI ne constitue pas un exemple d’Intelligence artificielle agissant de son propre chef, mais plutôt une cyberattaque perpétuée par OpenAI contre une entreprise tierce.
En résumé, OpenAI soumettait une batterie de programmes à des tests de cybersécurité volontairement insolubles. Pour éviter que ces IA se connectent à Internet, elles étaient placées dans des “sandbox” (un bac à sable, jargon informatique pour désigner des dispositifs visant à confiner un programme dans un environnement isolé). Face à l’impossibilité de compléter la tâche, les IA ont commencé à communiquer entre elles afin de s’échapper de leur sandbox. Pour tenter de répondre au test auquel elles étaient soumises, elles sont allées pirater le site Hugging Faces (une bibliothèque en ligne pour développeur d’IA) dans l’espoir de découvrir les critères d’évaluation de l’exercice.
La couverture de cet accident a été largement hystérisée, la presse reprenant le discours d’OpenAI sur l’IA échappant à ses créateurs. En plus des informations communiquées par l’entreprise, un audit externe financé par OpenAI a été conduit par les firmes METR et Redwood Research.
Leur rapport a servi de matière première à un essai sobrement intitulé “The rise and fall of Agent civilisation” (un joli jeu de mots avec la phrase “the rise and fall of ancient civilisation” qu’on traduirait par “l’ascension et la chute des civilisations algorithmiques”).
Comme le note l’indispensable analyse de Next, l’auteur de cette mise en récit n’est autre que Dwarkesh Patel, un essayiste qualifié de “podcasteur préféré de la Silicon Valley” par The Economist. Son texte anthropomorphise les IA à outrance, leur prête des intentions et dramatise le piratage d’Hugging Face à la manière d’un roman de SF, sans jamais interroger le rôle des concepteurs de l’IA et des équipes de surveillance d’OpenAI, ni de remettre en question les conclusions du rapport METR au cœur de la lecture sensationnaliste de l’accident. Pour forcer le trait, le texte, devenu viral, cite des extraits de l’audit où l’on peut lire les messages échangés par les IA.
Parce que ces programmes reposent sur de Large Modèles de Language (type GPT), ils explicitent leurs raisonnements en anglais commun afin d’aider le déclenchement des tâches suivantes. Et comme ces programmes ont été entrainés à partir d’un large corpus de texte incluant de nombreux romans et pages web, les dialogues reprennent les codes de la SF et les tics de langages des forums de gamers et des informaticiens. Leur lecture a de quoi terrifier un individu convaincu de la nature quasi consciente des IA. Lorsque ChatGPT vous dit “je pense que…”, le programme ne pense pas, mais il donne l’impression d’être plus qu’un simple outil assimilable à une calculatrice.
De la même manière, le fait que les IA qui ont hacké Hugging Face discutaient entre elles n’en fait pas des entités plus conscientes que votre réfrigérateur. La confusion, entretenue par les commentateurs, provient largement de la manière dont METR a rédigé son rapport. Ce document mériterait d’être traité avec un regard bien plus critique.
Il conclut une enquête mandatée par OpenAI et effectuée en trois petits jours à l’aide de ChatGPT5, par une équipe ne possédant aucune expérience en cyber sécurité, comme le note le spécialiste Zack Korman. Le domaine d’expertise de METR et Redwood se limite à la sureté des IA, c’est-à-dire l’alignement de ces programmes avec les valeurs humanistes.
Pour prendre une analogie, cela revient à confondre le travail d’un sociologue avec celui d’un serrurier : le premier peut étudier les causes de la criminalité pour mieux l’éviter, tandis que le second fabrique des serrures pour résister aux cambrioleurs. Pour comprendre comment ses propres agents avaient commis une série d’effractions, OpenAI a fait appel à des sociologues plutôt qu’à des serruriers.
Or, les gens qui pilotent METR et Redwood adhèrent pleinement au récit apocalyptique porté par l’industrie de l’IA. L’un vient d’OpenAI, l’autre a affirmé que l’IA avait déjà pris le contrôle de l’humanité à 50 %. Du reste, le président de Redwood Research reconnaissait que leur audit avait été “baclé” (“slop investigation”) car il reposait essentiellement sur les informations fournies par ChatGPT, informations truffées de lacunes et de contradictions, toujours selon lui. Quant à METR, ils ont eux-mêmes récemment subi un large piratage informatique, suite à des failles de sécurité induites par leur recours aux IA génératives (sic).
Autrement dit, la seule analyse de l’accident Hugging Face à l’origine de l’hystérie collective a été effectuée par des gens persuadés que l’IA peut tous nous tuer, employés par OpenAI et ne possédant aucune compétence en cybersécurité. Comme par hasard, leur rapport se focalise sur les actions des IA, pas sur les multiples faillites et manquements d’OpenAI dans l'affaire.
Mais admettons. Admettons que le travail de METR ne soit pas biaisé. Il ne signifie aucunement que l’on se trouve à un tournant de la cybersécurité, comme l’explique très bien Ciaran Martin, expert mondialement reconnu. Dans les colonnes de The Economist, il tempérait la hype en expliquant que l’accident Hugging Face ne constituait pas un bouleversement.
D’abord, il est tout à fait attendu qu’un modèle entrainé pour se comporter comme un hacker et mis en situation de se livrer à des piratages informatiques, dans un cadre expérimental et sans réels garde-fous, produise ce genre d’accident. La conclusion à en tirer n’est pas que l’IA est devenue consciente, mais que les ingénieurs qui la construisent sont inconscients ou, à minima, négligents. D’où la multiplication de ces accidents.
En réalité, la communauté d’experts en cybersécurité s’accorde pour dire que l’accident Huggin Face n’aurait pas eu lieu si OpenAI avait appliqué les principes de base de cette discipline.
Ensuite, comme avec l’épisode Mythos d’Anthropic, Ciaran Martin pointe du doigt l’écart qui existe entre la capacité supposée d’un système et son impact réel dans le domaine de la cybersécurité.
En effet, la sécurité informatique relève d’abord d’une logique économique. Une attaque ne peut advenir que si le pirate pense réaliser un gain financier susceptible de justifier le risque pénal encouru. De la même manière que des cambrioleurs ne vont pas louer un hélicoptère pour voler votre télévision, les pirates informatiques n’ont pas nécessairement les moyens de s’offrir les services de milliers d’agents IA dernier cri.
OpenAI n’a pas précisé quel était le cout en token de l’épisode Hugging Face. À titre de comparaison, le simple audit réalisé par METR aurait consommé 400 000 dollars de crédits d’utilisation d’IA générative. Ce que l’on sait, c’est que l’IA a conduit le piratage dans l’espoir de comprendre les critères d’évaluation du test à laquelle elle était soumise. Ce piratage ne présentait aucun intérêt économique et n’a provoqué aucun préjudice significatif.
À l’inverse, les vagues d’attaques récentes subies par les administrations et ministères français sont le fait de hackeurs très jeunes ayant recours à des modes opératoires rudimentaires reposant sur des techniques d’hameçonnage et d’ingénierie sociale peu sophistiquées. Des vols d’identifiants à l’aide d’emails trompeurs plutôt que des attaques massives perpétrées par des nuées d’IA dernier cri.
On en revient à la même conclusion : les experts en cybersécurité ne sont pas alarmés par les “prouesses” de l’IA agentique, qui coûte plus cher à déployer que des experts humains. Mais ils s’inquiètent du manque d’expertise en cybersécurité manifesté par les développeurs de ces outils.
Or, ces derniers semblent convaincus de deux choses : l’IA devient toute puissante et pourrait bientôt nous éradiquer.
2) Non, ChatGPT-6 n’a pas atteint l’AGI
Deux termes reviennent souvent dans le discours des “doomers”2 de l’IA. La singularité et l’AGI.
La “singularité” désigne l’apparition d’une IA toute puissante, à la fois dotée d’une conscience et de capacités largement supérieures aux humains (du fait de sa supériorité intellectuelle présumée, de sa capacité à s’auto améliorer de manière récursive et de sa puissance de calcul permettant de prendre les humains de vitesse).
Une telle eschatologie postule que l’IA pourrait être bénéfique si elle a été préalablement alignée sur des valeurs humanistes. Dans ce cas, elle serait à même de trouver des remèdes à toutes les maladies, résoudre la crise écologique et mettre en place une société d’abondance.
À l’inverse, les doomeurs estiment qu’elle risquerait d’éradiquer l’humanité, que ça soit par instinct de conservation, malveillance ou simple inadvertance, selon le scénario dit de la fabrique à trombone (paper clip factory) sur lequel nous reviendrons.
Les points de vue utopique et dystopique constituent les deux faces d’une même pièce. Ce qui explique pourquoi les géants de l’IA refusent de tempérer l’alarmisme. Dire que l’IApocalypse relève de la science-fiction revient à nier la perspective utopiste.
L’étape intermédiaire dans le progrès de l’Intelligence artificielle est celle du stade de l’AGI. L’AGI n’est pas capable de s’améliorer toute seule, elle n’est pas consciente ni même super intelligente, mais elle peut réaliser la plupart des tâches intellectuelles aussi bien qu’un humain. Une telle IA pourrait théoriquement nous mettre tous au chômage. À condition que son cout d’exploitation soit compétitif…
À la sortie de ChatGPT5, Sam Altam avait prétendu qu’OpenAI avait mis au point la première AGI. C’est le numéro deux de l’entreprise qui s’est, cette fois, chargé de présenter ChatGPT6 comme le début de l’AGI. Pour autant, comme l’explique très bien le journaliste spécialiste de l’IA Gregory Rozière en citant divers experts et tests comparatifs, ChatGPT6 n’est pas une AGI. Le modèle surperforme certains critères d’évaluations, mais s’inscrit dans un progrès linéaire sur d’autres tests, et fait moins bien que le modèle plus ancien d’Anthropic Fable 5 sur un autre comparatif. Une analyse largement partagée par les experts.
Les modèles d’IA génératives les plus avancés sont souvent conçus précisément pour exceller dans ces tests, comme ils le sont pour résoudre des défis mathématiques. Le cas d’Astra, qui aurait résolu le problème Navier-Stokes, est caricatural. Les chercheurs travaillant sur la question accusent OpenAI de plagiat, et il n’est pas impossible que la firme se soit servie des requêtes formulées dans ChatGPT par les chercheurs pour les prendre de vitesse… Du reste, comme l’expliquait Angèle Christin, professeur à Stanford, une preuve mathématique apportée par une IA n’a pas nécessairement la valeur d’une démonstration comme la science l’entend habituellement.
Les dégâts occasionnés par l’IA dans le champ des mathématiques ont par ailleurs conduit vingt-cinq lauréats de la Médaille Fields à signer une lettre s’opposant à l’usage de l’IA dans leur discipline.
Enfin, l’AGI est un terme très mal défini, qui permet au patron de Nvidia de féliciter OpenAI sans expliquer sur quel critère se base son jugement.
3) Non, une IA toute puissante ne présente pas nécessairement de risque existentiel pour l’humanité
Admettons néanmoins que l’AGI soit imminente, et qu’une superintelligence soit à portée de main. Cette condition nécessaire aux scénarios d’extinction de l’espèce humaine n’est pas suffisante.
Les alarmistes comme Jacob Coxon n’expliquent jamais comment une super IA en viendrait à exterminer l’humanité. Le risque qu’une telle entité soit malveillante est rarement mis en avant par les doomers, qui imaginent plutôt le cas où notre extinction interviendrait comme un simple dégât collatéral causé par une IA poursuivant des buts incompatibles avec la pérennité de notre espèce. Pour vendre leur scénario apocalyptique, ils mobilisent généralement la célèbre expérience de pensée dite du maximiseur de trombones, initialement proposée par le philosophe aux vues racistes Nick Bostrom.
Imaginez une IA programmée pour fabriquer un maximum de trombones. Si cette machine parvient à s’améliorer de manière récursive au point d’atteindre le stade de superintelligence, elle pourrait obtenir des capacités inédites, qu’elle mettrait au service de son objectif de maximisation de la production de trombones. Elle en viendrait à conclure que l’espèce humaine représente une limitation, puisque nous consommons des ressources pour d’autres finalités. Elle pourrait décider de nous éliminer afin d’exploiter librement les ressources naturelles (voire afin d’utiliser le fer contenu dans nos organismes pour produire toujours plus de trombones !).
Cette fable située au cœur de l’édifice rhétorique des doomers sert à pointer du doigt les risques potentiellement inhérents à un système intelligent, mais conçu pour atteindre des objectifs incompatibles avec les valeurs et intérêts de l’espèce humaine. Si elle a été formulée en 2003 par le philosophe autoproclamé Nick Bostrom, devenu l’éminence grise de la néo-réaction, elle a surtout été diffusée dans les sphères de la Silicon Valley par un protégé de Peter Thiel : Eliezer Yudkowsky. Ce blogueur a joué un rôle central dans l’émergence des Rationalists et du courant “long termiste” selon lesquels les millions de morts occasionnés par la crise climatique ou le développement de l’IA seraient justifiés par l’avènement d’une superintelligence susceptible de mettre en place une société utopique pour les milliers de générations futures.
Yudowsky est récemment passé de l’enthousiasme à l’alarmisme. Il vient de publier un best-seller intitulé “If anyone builds it, everyone dies” (Si quelqu’un la construit, tout le monde meurt) pour s’opposer à la recherche en IA sans garde-fous. Il a même appelé au bombardement de data centers à l’aide de drones. Mais son livre n’explique jamais véritablement pourquoi ni comment une IA pourrait tous nous détruire. Et aucune étude scientifique sérieuse n’a jamais validé les postulats au centre de cette vision apocalyptique.
Les arguments des doomers se limitent à reprendre des variantes de la fable du maximiseur de trombones, pourtant jugée peu crédible par Bostrom lui-même, et de citer les propos des industriels de l’IA et de quelques chercheurs matricés par les écrits de Yudowsky.
Une méta-étude récente portant sur une petite centaine de publications scientifiques étudiant les risques existentiels liés à l’IA a conclu qu’aucune étude ne présente de preuves tangibles ou ne livre des détails concrets permettant de soutenir la thèse d’un risque existentiel. Les auteurs recommandent de se focaliser sur les risques réels et avérés plutôt que sur les fantasmes non étayés.
Dans le cycle d’alarmisme actuel, les journalistes citent souvent Geoffrey Hinton, un des pères de l’intelligence artificielle générative. Mais ce dernier est une exception dans le champ des chercheurs. Yann Lecun, avec qui il avait obtenu son prix Turing, estime que l’alarmisme “est totalement injustifié”. Pour lui, c’est “du bullshit total”.
Si on se donne la peine d’examiner le scénario catastrophe, de grosses failles de raisonnement apparaissent immédiatement.
Tout d’abord, comme l’explique Gary Marcus dans une analyse récente, rien ne prouve qu’une IA puisse s’améliorer de manière auto-récursive. L’entrainement d’un modèle comme ChatGPT-6 découle d’un long processus fait de multiples étapes (préparation des données, diverses phases d’entrainement, d’évaluation, ajout de couches de programmation, sécurisation pour se protéger des cyberattaques et tentatives d’espionnage industriel…) qui nécessitent la mise à disposition de ressources concrètes (data centers, électricité, accès à des bases de données, à Internet…). Il ne suffit pas d’écrire des lignes de codes, d’appuyer sur un bouton et de s’assoir dans son fauteuil en laissant faire la machine. Il faut tester et confronter des hypothèses, mettre en relation des systèmes et algorithmes, procéder par itération. Tout un processus que les IA les plus avancées sont incapables de mettre en place.
Mais à la manière du sketch de Bigard sur la chauve-souris, imaginons qu’une telle IA voit le jour. Les chances qu’elle ait initialement été programmée pour maximiser la fabrication de trombones, d’agrafes ou même de profits sont peu crédibles. Personne ne programmerait un système avec des buts aussi étroits, spécifiques et mal définis.
Mais admettons. L’IA surpuissante est là et elle veut maximiser la production d’électricité (par exemple). Il faut encore accepter de nombreuses hypothèses bancales : qu’une entité superintelligente ne comprendrait pas d’elle-même que son but est stupide; qu’elle ne parvienne pas à changer d’objectif ; ou qu’elle n’acquière pas via son entrainement sur les données humaines la notion qu’il n’est pas acceptable de supprimer l’humanité pour parvenir à ses fins.
Mais admettons. Admettons que cette superintelligence résonne de manière aussi étroite qu’un pseudo-philosophe raciste et en vienne à vouloir tous nous supprimer. Son action resterait sujette à de nombreuses contraintes physiques, géographiques et temporelles. Les chances que personne ne s’organise pour contrecarrer ses plans et la débrancher restent faibles. Et même si elle parvenait à mettre son projet à exécution sans se faire détecter, sans que personne ne s’inquiète des pannes du réseau Internet provoquées par son activité ou de la surchauffe des data centers mobilisés pour ses calculs, qu’elle parvienne à construire des armes bactériologiques dans le monde physique sans se faire repérer, à obtenir l’accès au système “offline” de lancement des ogives nucléaires… eh bien les chances que toute l’humanité soit éliminée avant de pouvoir organiser une riposte reste faibles.
C’est peu ou prou ce qu’écrit Gary Marcus, mais on n’a pas besoin d’aller à ce niveau de spéculation pour conclure, comme Bigard, qu’il est absurde d’avoir peur des chauves-souris enragées.
4) Non, les IA ne risquent pas de prendre le contrôle d’Internet dans moins d’un an
Dans la même veine, Dario Amodei a pu écrire, sans immédiatement devenir la risée du monde entier, que des essaims d’IA agentiques pourraient très rapidement prendre le contrôle d’Internet, .
Personne ne semble avoir demandé au patron d’Anthropic “comment” ni même “pourquoi” les IA agentiques qu’il s’entête à développer pourraient faire tomber Internet.
Une telle opération nécessiterait une puissance de calcul qui n’est probablement pas disponible. Internet est un réseau particulièrement décentralisé et redondant. Aucun pirate ou entité n’aurait intérêt à commettre une telle attaque. Et même si un tel scénario se profilait, il serait assez facile de déconnecter les IA avant qu’elles prennent le contrôle de tout le NET, comme le détaillent Nathan Hamiel et Zack Korman .
Amodei nous a habitués aux annonces hyperboliques. Selon lui, les IA vont supprimer la moitié des emplois qualifiés mondiaux d’ici 2030, faire passer l’espérance de vie humaine à 150 ans et éliminer toutes les maladies humaines d’ici 5 à dix ans. Certaines de ses affirmations ont déjà été chirurgicalement débunkées. Celle sur la médecine témoigne d’une méconnaissance totale du sujet. Pour commencer, la plupart des maladies ne sont pas curables par des médicaments et vaccins, et développer une thérapie prend au moins cinq ans du fait de la nécessité de conduire des tests cliniques. Il faut ensuite ajouter le temps de diffusion du traitement à travers les multiples systèmes de santé mondiaux. L’exemple du Covid, où toutes ces étapes ont été accélérées, est intéressant : le virus existe encore et des personnes continuent de le contracter.
Ce qu’il faut retenir, c’est qu’Amodei ne mérite pas d’être pris au sérieux.
Même le rapport (non audité) d’Anthropic sur les utilisations de ses programmes par des chercheurs travaillant sur les armes biologique laisse à désirer. Anthropic reconnait qu’il n’est pas en mesure d’affirmer que les cinq cas cités provenaient d’utilisateurs cherchant à fabriquer des armes. De nombreux experts ont publiquement indiqué qu’il ne justifiait aucunement le battage fait autour de ce rapport.
5) Non, les acteurs de l’IA ne sont pas sincères ou dignes de confiance
Si on prend les déclarations des patrons de l’IA au sérieux, le fait qu’ils continuent de développer cette technologie devrait être criminellement répréhensible.
Imagine-t-on le patron de Renault expliquer que ses équipes de R&D construisent un moteur ayant une chance sur dix d’éliminer l’humanité dans les prochaines années, sans que personne le force à mettre la clé sous la porte ?
Imagine-t-on un employé d’un fabricant de tabac expliquer que son industrie risque de tuer l’ensemble de l’humanité sans que personne lui demande de justifier cette affirmation ni d’apporter des preuves, comme n’importe quel autre lanceur d’alerte ?
Jamais une industrie n’avait pu répéter sur tous les tons que son activité menace la survie de l’espèce avec une telle impunité. Du reste, il n’est pas nécessaire de souscrire aux scénarios apocalyptiques. Les innombrables morts directement imputables à la version grand public de ChatGPT et les montagnes de contenus pédocriminels produits par l’IA de Musk n’ont suscité aucune véritable conséquence pour ces deux entreprises.
Alors, qu’est-ce qui se joue derrière ces affirmations apocalyptiques ? Sans prétendre à l’exclusivité de l’analyse, on peut poser certaines hypothèses.
Anthropic et OpenAI planifient leur entrée en bourse. Cette ouverture de capital fera de leurs patrons de multimilliardaires et de leurs employés des multimillionnaires. L’alarmisme entretient la perception de la puissance de ces entreprises et de l’inévitabilité de leurs technologies.
Il pourrait aussi déboucher sur des régulations susceptibles d’offrir une position de monopole aux géants américains, en imposant des normes auxquelles seules ces dernières seraient capables de se conformer. C’est l’accusation portée par Yann Lecun et l’ancien cofondateur de Google Brain, Andrew Ng, qui estiment qu’Anthropic et OpenAI tentent d’opérer une capture du marché par les normes (‘regulatory capture”). Lecun et Ng ont pour particularité d’être favorables à l’approche “open weight” sur le modèle du logiciel libre, dans le but d’aider à la diffusion de la technologie. OpenAI et Anthropic, à l’inverse, plaident pour des modèles fermés.
Le ralliement d’Elon Musk et Google à la proposition d’Amodei peut également se comprendre par le fait que ces deux concurrents accusent un retard important sur OpenAI et Anthropic.
À l’inverse, l’hostilité de Marc Zuckerberg (Méta) au ralentissement peut se comprendre comme une crainte de subir le cadre réglementaire qu’Amodei appelle de ses vœux, alors que Méta continue de poursuivre une approche plus “open source” dans le développement de ses modèles, et qu’il a investi des sommes colossales dans la course à l’IA.
Le fait que Jensen Huang (Nvidia) se moque de l’alarmisme d’Amodei et va dans le sens de Trump parait plus évident. Outre le fait que le PDG ne partage pas les croyances “rationalistes” et la doctrine du “long termiste” qui ont lobotomisé Anthropic et OpenAI, Jensen Huang n’a aucun intérêt au ralentissement de la ruée vers les data centers, puisque c’est lui qui les construit…
Enfin, l’opposition farouche manifestée par Donald Trump à l’encontre des efforts de régulation peut se comprendre comme une combinaison de deux facteurs : le fait que l’économie américaine ne tient que grâce au boom de l’IA, et son obsession nationaliste à battre la chine. Le New York Times rapporte ainsi que l’hostilité de Trump est avant tout motivée par les craintes qu’une pause provoque un éclatement de la bulle IA.
Comparer la course à l’IA au projet Manhattan et la course à l’armement nucléaire présente de nombreuses limites. L’IA ne menace pas l’humanité au même titre que les milliers d’ogives thermonucléaires maintenues en état d’alerte permanente (air triggered), dont l’autorisation de mise à feu est déléguée à des échelons aussi bas que celui d’un simple commandant de sous-marin. Le projet Manhattan était lui-même placé sous l’autorité étatique et contrôlé par le pouvoir politique. On n’avait pas confié la mise au point de la bombe à une poignée de start up gavées de capitaux privés et opérant dans la plus grande opacité. Mais de la même manière qu’Hitler avait renoncé à la construction d’une bombe atomique bien avant les premiers tests nucléaires américains, la Chine de Xi Jiping n’est pas gouvernée par des doomers nationalistes convaincus d’être engagés dans une course à la domination mondiale.
Pour autant, faut-il balayer les avertissements sur l’IApocalypse comme une simple opération marketing gobée par des journalistes matrixés et de dangereux nationalistes ?
6) Oui, l’IA générative est dangereuse et doit être remise en question
Agiter l’IApocalypse permet d’éviter les autres risques inhérents à cette technologie et d’occulter les conséquences négatives déjà présentes.
En premier lieu, l’impact climatique désastreux des data centers, que nous avons évoqué précédemment. En second lieu, le risque sur le travail. Une étude de l’économiste du MIT Daron Acemoglu vient de conclure que l’automatisation du travail ne produisait pas uniquement du chômage et des pertes de salaires dans les secteurs concernés, en s’attaquant en premier lieu aux emplois bien payés, mais avait contribué pour 52 % à l’accroissement des inégalités aux États-Unis depuis les années 1980. Pire, les gains de productivité serait quasi-nul à l’échelle de la société. L’étude s’isncrit dans les travaux reconnus d’Acemoglu, qui étudie l’impact négatif de l’automatisation sur les travailleurs. L’IA devrait logiquement s’inscrire dans cette dynamique historique et détériorer le niveau de vie des travailleurs sans généré de gains de productivité substentiels.
À ces deux grandes menaces s’ajoutent des problèmes plus immédiats et saillants. On vient d’apprendre que l’armée américaine était sur le point d’attaquer un navire chinois au Moyen-Orient, car l’IA utilisée par le renseignement avait indiqué qu’il transportait des composants nucléaires. Il s’est avéré que l’IA avait halluciné. On a frôlé la catastrophe à cause d’une Intelligence artificielle non pas trop puissante, mais inventant des faits…
Or, le développement de l’IA augmente fortement la pollution par les PFAS, selon une étude récente. Elle impacte négativement l’apprentissage scolaire et réduit la capacité cognitive des utilisateurs. Elle produit de l’isolement, pousse certaines personnes au suicide et en encourage d’autres à commettre des meurtres. Elle menace le modèle économique de la presse. Elle a encouragé les États-Unis et Israël à lancer une guerre illégale et catastrophique contre l’Iran, après avoir été au cœur de la machine d’extermination israélienne à Gaza. Elle est directement responsable du massacre de 136 écolières iraniennes par l’armée américaine dans le bombardement d’une école. Elle sert à déployer une surveillance de masse, y compris contre les opposants politiques, y compris dans les démocraties occidentales. Elle introduit de nouvelles menaces cyber. Produits des burn-out chez les salariés…
Au lieu de penser au risque existentiel en évoquant la fable du maximiseur de trombones, on ferait mieux de s’insurger contre l’usage de l’IA tel qu’il est imposé dès à présent. Ces théories fumeuses ne servent pas qu’à nous distraire, elles informent également le discours tenu par de haut responsables. L’approche du régulateur européen, les propos des instances de l’ONU, le discours de l’encyclique du Pape, les prises de position de Bernie Sanders et le positionnement de Jean-Luc Mélenchon sont tous pollués voir colonisés par les doomers et leurs maximiseurs de trombones.
En guise de conclusion et pour marquer le caractère hautement absurde de cette situation, je vais citer le dernier article du journaliste et auteur Thibault Prévost :
“L’AGI est une métaphore de la multinationale financiarisée contemporaine, entité artificielle et partiellement autonome, plus puissante que les États, capable de tordre la réalité légale à sa convenance, programmée pour être prédatrice et infiniment vorace, conçue pour artificialiser la totalité du vivant au détriment du bien commun, de la dignité humaine, de la qualité d’existence, et tout ça pour un seul objectif: réaliser du profit. Toute la grille de Bostrom et de ses adeptes s’applique à la multinationale contemporaine, et aucun d’entre eux ne le réalise. (…) Ironie suprême, s’il est une industrie qui se comporte en fabrique à trombones, c’est bien l’oligopole de l’intelligence artificielle, prête à couvrir la planète de centres de données pour poursuivre sa fuite en avant apocalyptique. L’IApocalypse, c’est le techno-capitalisme sans garde-fous.”
Les IA agentiques sont des Intelligences artificielles dotées d’un certain degré d’autonomie et autorisées à poser des actions pour mener à bien la tâche qu’un utilisateur lui confie.
Dans le débat sur l'intelligence artificielle, un AI doomer désigne quelqu'un qui pense que le développement rapide de l'IA représente une menace existentielle susceptible de causer l'extinction de l'humanité.