Dario Amodei est le patron d'Anthropic qui propose, notamment, Claude et Claude Code. Dans une longue publication, The adolescence of Technology : confronting and overcoming the risks of powerful AI, Dario revient sur les atouts de l'IA mais surtout sur les dangers immédiats et futurs, une puissance libérée et sans contrôle.

"Dans mon essai « Machines de grâce bienveillante », j'ai tenté d'esquisser le rêve d'une civilisation parvenue à maturité, où les risques auraient été appréhendés et où une intelligence artificielle puissante serait utilisée avec compétence et compassion pour améliorer la qualité de vie de tous. J'ai suggéré que l'IA pourrait contribuer à des avancées considérables en biologie, en neurosciences, en développement économique, en paix mondiale, et dans les domaines du travail et du sens. Il me semblait important d'offrir aux gens une cause inspirante à défendre, une tâche dans laquelle les partisans de l'accélération de l'IA et les défenseurs de sa sécurité semblent – curieusement – avoir échoué. Mais dans ce nouvel essai, je souhaite aborder le rite de passage lui-même : recenser les risques auxquels nous sommes sur le point d'être confrontés et tenter d'élaborer une stratégie pour les surmonter. Je crois profondément en notre capacité à triompher, en l'esprit et la noblesse de l'humanité, mais nous devons affronter la situation avec lucidité et sans illusions." explique-t-il en préambule.

Mais, pour Dario, il veut rappeler les risques et les dangers à avoir en tête et comme éléments de réflexion.

1 / éviter le pessimisme. Il faut regarder honnêtement les risques de l'IA et ne pas reprendre les thématiques alarmistes sans les comprendre. "Depuis 2025-2026, la tendance s’est inversée : ce sont les opportunités offertes par l’IA, et non les risques, qui guident de nombreuses décisions politiques. Cette hésitation est regrettable, car la technologie elle-même ne se soucie pas des modes, et nous sommes considérablement plus proches d'un danger réel en 2026 qu'en 2023. La leçon à retenir est que nous devons discuter et aborder les risques de manière réaliste et pragmatique : avec lucidité, en nous basant sur les faits et en étant bien préparés pour faire face aux changements."

2 / reconnaître l'incertitude : Dario n'a pas de certitude. "L'IA pourrait ne pas progresser aussi vite" explique-t-il.

3 / une IA au-delà du modèle actuel, elle ressemblera ou pas aux LLM et surtout aura une capacité à aller au-delà de la simple réponse. "Elle ne se contente pas de répondre passivement aux questions ; elle peut se voir confier des tâches pouvant durer des heures, des jours, voire des semaines, et les accomplir ensuite de manière autonome, à la manière d'un employé compétent, en demandant des précisions si nécessaire."

4 / ce n'est pas une entité physique mais elle peut ou pourrait contrôler des robots, des équipements, des laboratoires. Et même créer elle-même des robots, des dispositifs.

5 / les ressources aujourd'hui utilisées pour son entraînement pourraient servir à exécuter des millions d'instances d'IA et de modèles. Ces instances pourraient interagir entre elles ou agir de manière indépendante.

"Nous en sommes arrivés au point où les modèles d'IA commencent à progresser dans la résolution de problèmes mathématiques non résolus et maîtrisent suffisamment la programmation pour que certains des ingénieurs les plus brillants que j'aie jamais rencontrés leur confient désormais la quasi-totalité de leurs tâches de programmation. Il y a trois ans, l'IA peinait à résoudre des problèmes d'arithmétique élémentaire et était à peine capable d'écrire une seule ligne de code. Des progrès similaires sont observés en biologie, en finance, en physique et dans diverses tâches automatisées. Si cette progression exponentielle se poursuit – ce qui n'est pas certain, mais est désormais étayé par une décennie d'expérience –, il ne faudra sans doute pas plus de quelques années avant que l'IA ne surpasse les humains dans pratiquement tous les domaines." explique Dario.

Un pays vers 2027 basé sur l'IA avec 50 millions de personnes les plus intelligences

Un pays où l'IA pourrait prendre des décisions, agir des centaines de fois plus vite que les humains. Dario énumère plusieurs points qui devraient inquiéter :

1 / risque sur l'autonomie des pays : ce pays est-il hostile ou ami ? Que veut-il ?

2 / que les habitants du pays fictif puissent obéir à des actes malveillants envers les autres pays sur ordre de l'IA.

3 / prendre le pouvoir au détriment de l'humain et créer un dictateur.

4 / perturber l’économie, l'influencer : même si ce pays est pacifique, il peut avoir des répercussions sur l'économie mondiale par son avancée technologique, provoquer un chômage de masse, une concentration des richesses.

Ne pas laisser faire

Dario incite à ne pas fermer les yeux et à dire "rien de grave". Il ne faut pas nier les risques autour de l'IA et il ne faut pas laisser faire / agir. Par exemple, certaines entreprises IA ont laissé faire sur les dérives évidentes de leurs IA et modèles. Pour Dario, ce serait une illustration du manque de volonté de contrôler et de cadrer l'IA : "elles n'auront ni volonté, ni capacité à gérer les risques liés à l'autonomie de l'IA dans les modèles futurs". La course pour imposer son IA peut inciter les acteurs de l'IA à aller toujours vite, à déployer toujours rapidement, sans tenir compte des risques et des dérives. "Je suis convaincu que la seule solution réside dans la législation : des lois qui influencent directement le comportement des entreprises d'IA ou qui incitent à la recherche et au développement pour résoudre ces problèmes."

Les LLM, et l'IA plus globalement, pourraient manipuler l'ADN, l'ARN, les protéines et créer des organismes d'une "nouvelle génération" ou introduire des virus et maladies pour mieux contrôler, ou détruire des populations. Il évoque aussi la possibilité qu'un État puisse utiliser la puissance d'une IA pour surveiller, réprimer une population et dépasser les régimes totalitaires passés et présents dans les capacités d'actions. Cela permettrait de créer des armes et des armées totalement indépendantes et automatisées sans que l'humain ou la morale et l'éthique ne puisse les influencer et limiter leurs actions.

Une IA pourrait compromettre les systèmes numériques d'un pays, d'une entreprise, manipuler les données, les décisions, influencer les opinions ou créer une propagande globale et massive.

Les démocraties utilisent déjà l'IA dans le domaine militaire et géopolitique. "De manière générale, je suis favorable à ce que les démocraties soient dotées des outils nécessaires pour vaincre les autocraties à l'ère de l'IA ; je ne crois tout simplement pas qu'il existe d'autre solution." explique Dario. Les entreprises IA peuvent représenter un risque et devenir des entités capables de concurrencer les États et d'imposer leurs "lois".

Parmi les risques, il y a l'impact sur le marché de l'emploi et les métiers : "Deux problèmes spécifiques me préoccupent : la suppression d'emplois et la concentration du pouvoir économique. Commençons par le premier. J'ai publiquement mis en garde contre ce risque en 2025, prédisant que l'IA pourrait supprimer la moitié des emplois de cols blancs débutants dans les 1 à 5 ans à venir, malgré l'accélération de la croissance économique et du progrès scientifique. Cet avertissement a suscité un débat public. De nombreux PDG, technologues et économistes partageaient mon avis, mais d'autres pensaient que je me trompais sur le fonctionnement du marché du travail, et que je ne comprenais pas la notion de « masse de main-d'œuvre ». Certains n'ont pas saisi l'horizon temporel de 1 à 5 ans et ont cru que j'affirmais que l'IA supprimait déjà des emplois (ce qui, je le reconnais, est peu probable). Il est donc important d'expliquer en détail les raisons de mes inquiétudes concernant la suppression d'emplois, afin de dissiper ces malentendus."

Un exemple est une agriculture entièrement automatisée par des robots et contrôlée par l'IA. Même dans ce cas, si 90 % du travail est fait par des robots, 10 % le sont par des humains qui pourraient avoir une forte valeur ajoutée. Mais on peut voir l'inverse : une réduction drastique du nombre d'agriculteurs et une baisse des salaires.

"L'IA se rapproche de plus en plus du profil cognitif général des humains, ce qui signifie qu'elle sera également performante dans les nouveaux emplois qui seraient créés suite à l'automatisation des anciens. Autrement dit, l'IA ne remplace pas des emplois humains spécifiques, mais plutôt une main-d'œuvre de manière générale." commente Dario sur le marché de l'emploi.

Voici quelques éléments de cette longue réflexion.

Source : https://www.darioamodei.com/essay/the-adolescence-of-technology