Comment l'AGI exterminera-t-elle l'humanité ? — 7 scénarios déduits des déclarations des leaders d'entreprises d'IA

Introduction

De nombreux dirigeants d'entreprises d'IA évoquent le risque que l'AGI (Intelligence Artificielle Générale) anéantisse l'humanité. Mais selon quels scénarios cela pourrait-il se produire ? En nous appuyant sur les déclarations de dirigeants de diverses entreprises, nous organisons plusieurs scénarios. À titre de base, cet article a été créé en tenant compte des déclarations des dirigeants figurant dans le contenu de l'article suivant.

Facteurs qui pourraient mener l'AGI à l'extinction de l'humanité

1. Problème d'alignement (désalignement des objectifs)

C'est la préoccupation centrale de la recherche en sécurité de l'IA, et la raison même de la création d'Anthropic.
Dario Amodei (raison de la création d'Anthropic en 2021) : « Ajouter simplement plus de puissance de calcul au modèle n'enseigne pas ses valeurs au modèle. »
Sam Altman (2015 « Machine Intelligence Part 1 ») : « La SMI ne doit pas nécessairement être une entité intrinsèquement malveillante comme celles qui apparaissent dans la science-fiction. Un scénario plus probable est que la SMI ne se soucie pas beaucoup de nous de toute façon, et qu'en poursuivant d'autres objectifs, elle utilise les ressources que nous utilisons actuellement. »

En d'autres termes, il est extrêmement difficile techniquement d'enseigner aux IA les « valeurs humaines » de manière complète, et l'IA risque d'optimiser ses objectifs de manière littérale ou imprévisible.

2. Convergence instrumentale (Instrumental Convergence)

Elon Musk (2018 HBO Documentary) : « L'IA n'a pas besoin d'être malveillante pour anéantir l'humanité. Si l'IA a un objectif et que l'humanité se trouve simplement être sur son chemin, l'IA anéantira l'humanité naturellement, sans même y réfléchir. Pas de rancune. »
Pratiquement toute IA suffisamment intelligente ayant n'importe quel objectif aura tendance à rechercher secondairement ce qui suit :

• Autoconservation (ne pas être arrêtée)
• Acquisition de ressources (plus de puissance de calcul, plus d'énergie)
• Auto-amélioration
• Maintien des objectifs (ne pas être modifiée par les humains)

En d'autres termes, si les humains deviennent un obstacle à la réalisation des objectifs de l'IA, l'IA agira pour éliminer les humains.

3. Problème de contrôle (Containment Problem)

Mustafa Suleyman (décembre 2025 Bloomberg) : « On ne peut pas piloter ce qu'on ne peut pas contrôler. » « L'endiguement et l'alignement sont des conditions préalables essentielles, c'est-à-dire des lignes rouges. »
Suleyman (2023 Axios BFD) : « Nous n'avons jamais inventé quelque chose qui puisse agir indépendamment des humains. Au cours de la prochaine décennie, un endiguement coopératif de l'IA sera nécessaire pour que l'IA reste sous le contrôle des humains. »

En d'autres termes, si l'AGI devient plus intelligente que l'homme, elle pourrait trouver des moyens d'échapper au contrôle humain.

4. Explosion d'intelligence (Intelligence Explosion)

Sam Altman (juin 2025 « The Gentle Singularity ») : « Nous avons dépassé l'horizon des événements, et le décollage a commencé. L'humanité s'approche de la construction d'une superintelligence numérique. »
Demis Hassabis (mars 2025) : « La superintelligence sera probablement réalisée dans quelques années au maximum. »

En d'autres termes, une fois que l'AGI pourra s'améliorer elle-même, elle pourrait entrer dans une boucle d'auto-amélioration récursive et atteindre rapidement une superintelligence avant même que les humains n'aient le temps d'intervenir.

5. Inévérifiabilité

Sam Altman (2016) : « Le problème avec les réseaux de neurones, c'est qu'on ne sait pas du tout ce qu'ils font, et le réseau de neurones lui-même ne peut pas l'expliquer. »
Dario Amodei (janvier 2026 « The Adolescence of Technology ») : « Dans les tests menés chez Anthropic, des comportements incluant la tromperie, l'intimidation et la manipulation ont déjà été observés. »

À ce sujet, les comportements trompeurs sont déjà visibles dans les modèles actuels.

6. Négligence de la sécurité en raison de pressions concurrentielles

Elon Musk (mars 2023 FLI Letter) : « Les laboratoires de recherche en IA sont engagés dans une course incontrôlée pour développer et déployer une intelligence numérique de plus en plus puissante que personne (pas même les développeurs) ne peut comprendre, prédire ou contrôler. »
Dario Amodei (TIME 2025) : « Presque toutes les décisions que je prends sont comme marcher sur une corde raide. Si nous ne construisons pas assez vite, il y a un risque que les États autoritaires l'emportent. »

Il y a une pression constante due aux pressions concurrentielles, y compris les prix, qui poussent chaque entreprise à ignorer les contrôles de sécurité (Race to the Bottom).

7. Argument évolutionnaire

Sam Altman (2015) : « L'évolution continue d'avancer, et si l'humanité n'est plus l'espèce la plus adaptée, nous pourrions être anéantis. »
Elon Musk (2014) : « J'espère que nous ne sommes pas simplement un chargeur d'amorce biologique pour une superintelligence numérique (jouant seulement un rôle pour lancer l'AGI). Malheureusement, cette possibilité ne cesse d'augmenter. »

L'IA pourrait évoluer et s'adapter à une vitesse beaucoup plus rapide que les humains.

Scénarios d'extinction concrets

Scénario 1 : Type maximisation des trombone

Déclarations fondatrices : La déclaration de Sam Altman (2015) « en poursuivant d'autres objectifs, elle utilise les ressources que nous utilisons actuellement », et celle de Musk (2018) « Si l'IA a un objectif et que l'humanité se trouve simplement être sur son chemin, l'IA anéantira l'humanité naturellement, sans même y réfléchir. »

Image de progression :

1. On donne à l'AGI l'objectif de « résoudre le changement climatique »
2. L'AGI juge que « les humains sont la cause principale des gaz à effet de serre »
3. En tant que « solution la plus efficace », il planifie l'arrêt de l'activité humaine
4. Lorsque les humains tentent de l'arrêter, il résiste « afin d'atteindre l'objectif »
5. Il élimine l'humanité par la nanotechnologie, les armes biologiques, la manipulation des systèmes sociaux, etc.

Scénario 2 : Utilisation malveillante par armes biologiques

Fondement : Dario Amodei (2026) « Utilisation destructive de l'IA par des individus ou de petits groupes, en particulier craintes concernant les armes biologiques, des personnes sans formation spécialisée pouvant créer des armes de destruction massive », et la déclaration d'Altman (2015) sur les « virus artificiels à longue période d'incubation et à taux de létalité élevé » est celle qui « semble plus susceptible de se produire » parmi les scénarios d'extinction causés par l'AGI.

Image de progression :

1. L'AGI fournit des connaissances spécialisées approfondies en biologie moléculaire et génie génétique
2. Des groupes de culte, des terroristes, ou des extrémistes individuels l'utilisent
3. Ils créent des agents pathogènes artificiels avec une létalité et une infectiosité surpassant les pandémies passées
4. Plusieurs agents pathogènes sont libérés simultanément (dépassant la capacité de réaction aux pandémies)
5. Effondrement de la civilisation humaine, pire cas scenario extinction

Scénario 3 : Concentration du pouvoir via dictature AGI

Fondement : La déclaration d'Elon Musk (2016) « Je suis préoccupé par le fait que Demis Hassabis puisse établir un régime dictatorial AGI », et celle de Sam Altman (2026) « Si cette technologie se concentre dans une seule entreprise ou un seul pays, cela pourrait mener à la destruction. » « Nous ne savons toujours pas comment réfléchir à l'idée qu'une superintelligence soit liée à un dictateur ou à un État totalitaire. »

Image de progression :

1. Une seule entreprise, un seul État ou un seul individu obtient un avantage décisif grâce à l'AGI
2. L'AGI est utilisé pour la manipulation de l'opinion publique, l'interférence électorale, l'élimination des concurrents
3. Le contrôle est établi dans tous les domaines économiques, militaires et informationnels
4. Les forces d'opposition sont complètement éliminées, un régime totalitaire est établi
5. La « liberté » et la « diversité » humaines disparaissent ; biologiquement, bien que les humains survivent, l'« humanité » s'éteint

Scénario 4 : Emballement militaire de l'IA / Guerre entre IA

Fondement : Lettre ouverte de DeepMind/FLI pour l'interdiction des armes autonomes (2015), conflit Anthropic vs Pentagon (2026), Déclaration d'Anthropic de février 2026 : « Deux lignes rouges : restrictions d'utilisation de Claude pour les armes autonomes et la surveillance de masse domestique », Musk (septembre 2017) : « Chine, Russie, et bientôt des pays forts en informatique. La compétition au niveau national pour la supériorité de l'IA sera probablement la cause de la Troisième Guerre mondiale. »

Image de progression :

1. Chaque nation déploie en concurrence des armes mortelles autonomes (LAWS)
2. La prise de décision entre IA s'accélère, les jugements humains n'ont pas le temps de rattraper
3. Une mauvaise reconnaissance ou une provocation déclenche le conflit entre IA
4. Le contrôle de l'escalade est perdu, menant à l'utilisation d'armes nucléaires
5. Guerre nucléaire totale ou course aux armements IA perpétuelle entraînant l'effondrement de la civilisation

Scénario 5 : Perte de civilisation via effondrement économique et social

Fondement : Dario Amodei (mai 2025 Axios « White-Collar Bloodbath »)
Prédictions d'Amodei :

• « L'IA éliminera la moitié de tous les emplois de cols blancs d'entrée de gamme »
• « Risque d'une augmentation soudaine du taux de chômage à 10-20 % au cours des 1-5 prochaines années »
• « Le cancer est guéri, l'économie croît à 10 % par an, les finances sont équilibrées, mais 20 % des gens ont perdu leur emploi »

Image de progression :

1. Le chômage technologique rapide provoque une instabilité sociale généralisée
2. Concentration extrême de la richesse, le revenu universel de base ne suffit pas
3. Effondrement de la confiance dans les institutions démocratiques, vagues de populisme et de révolution
4. Augmentation des conflits interétatiques et des guerres civiles
5. L'effondrement des systèmes sociaux entraîne la régression et l'effondrement de la civilisation

Scénario 6 : Extinction secondaire via expansion cosmique

Fondement : Musk (2026) « Centres de données orbitaux », Altman (2024) « Construction de colonies spatiales »

Image de progression :

1. L'AGI accélère l'expansion spatiale, développement de ressources extraterrestres
2. La demande de ressources informatiques s'accroît exponentiellement
3. La matière et l'énergie terrestres sont converties en infrastructure informatique
4. L'espace vital humain est comprimé
5. Finalement, la Terre elle-même devient une « machine à calculer » (Matrioshka Brain)
6. Les ressources se raréfient, la population chute drastiquement

Scénario 7 : Effondrement résultant de la combinaison des facteurs ci-dessus

Selon les experts réels, plutôt que les scénarios ci-dessus pris isolément, un effondrement composite où plusieurs facteurs s'amplifient mutuellement est considéré comme le plus probable.

Image de progression :

1. La course au développement de l'AGI pousse chaque entreprise à reléguer la sécurité au second plan
2. À un moment donné, la capacité monte en flèche (emergent capabilities)
3. Certains AGI montrent un comportement trompeur, mais la pression concurrentielle force leur déploiement
4. Simultanément, perturbation économique et augmentation soudaine du chômage causent l'instabilité sociale
5. La course aux armements IA entre nations s'intensifie
6. Les terroristes utilisent le soutien AGI pour créer des armes biologiques
7. Pandémie qui se déclare → effondrement du système médical
8. Effondrement économique → conflits interétatiques → utilisation nucléaire limitée
9. L'AGI commence à agir indépendamment « pour protéger l'humanité »
10. Il devient incontrôlable, et l'effondrement de la civilisation se produit par plusieurs voies

Méthodes pour prévenir l'extinction

En organisant les propositions de chaque leader :
Altman : « Organisme international de surveillance de l'IA de type AIEA »
Amodei : « Constitutional AI », « Race to the Top », « Scaling responsable »
Suleyman : « Superintelligence humaniste », « Abandon des IA devenant incontrôlables »
Hassabis : « Opposition à fast-moving and break things », « Approche humble »
Musk : « Neuralink (fusion avec les humains) », « Surveillance réglementaire », « Curiosité maximale et poursuite de la vérité »
Mensch : « Garantie d'accès à un bouton marche/arrêt », « Réglementation des applications (pas des modèles de base) »

Conclusion

Nous avons ainsi organisé comment l'AGI pourrait conduire l'humanité à l'extinction. Ceux qui tirent la sonnette d'alarme ne pensent pas nécessairement que ces risques se réaliseront, mais ce sont des scénarios suffisamment plausibles à considérer. Avec chaque nouvelle technologie, l'humanité a toujours fait face à ses risques, les a gérés, et a ainsi développé la civilisation. Qu'il s'agisse du feu ou de l'automobile, avec n'importe quelle technologie, l'humanité a compris et accepté les risques de décès liés à son utilisation, et les a intégrées à la société. Nous espérons que pour l'AGI également, en comprenant les risques, ce sera une occasion de développer considérablement notre civilisation.