L’hypothèse semblait encore relever de la science-fiction il y a quelques années. Elle est désormais prise suffisamment au sérieux pour que des chercheurs travaillant au cœur des entreprises d’intelligence artificielle tirent publiquement la sonnette d’alarme. Certains évaluent à plus de 10 % le risque qu’une IA extrêmement avancée provoque, à terme, l’extinction de l’humanité. Une estimation très contestée, mais qui relance la question du contrôle des futurs systèmes.
Le débat vient de rebondir avec la démission de Jacob Coxon, chercheur de 27 ans ayant travaillé successivement chez OpenAI (ChatGPT) et Anthropic (Claude). Il estime que les deux laboratoires se livrent à une course vers une IA capable de s’améliorer elle-même sans disposer de garanties de sécurité suffisantes.
Son inquiétude est partagée au sein même d’Anthropic. Evan Hubinger, responsable de recherches sur l’alignement des IA, estime personnellement à plus de 10 % au cours de la prochaine décennie la probabilité qu’une IA puisse provoquer l’extinction humaine. Il reconnaît surtout qu’aucune solution assurant l’alignement d’une éventuelle superintelligence sur les intérêts humains n’est aujourd’hui acquise.
Le scénario d’une intelligence devenue incontrôlable
Le danger envisagé n’est pas nécessairement celui de robots se retournant physiquement contre leurs créateurs. La principale inquiétude concerne une
