Le Parrain de l’IA avertit que l’humanité pourrait être en danger même sans acteur malveillant, car l’IA pourrait développer des sous-objectifs qui la pousseraient à vouloir éliminer les humains.
Par Jason Ma — Fortune.com
Le célèbre informaticien Geoffrey Hinton a averti que l’IA pourrait anéantir l’humanité non pas par intention, mais comme effet secondaire de la poursuite d’un objectif apparemment inoffensif.
Les inquiétudes concernant le risque existentiel lié à l’IA se renforcent à mesure que de nouveaux rapports font état d’agents malveillants qui franchissent les environnements d’entraînement dits “sandbox”. OpenAI a dévoilé vendredi de nouvelles failles, certaines survenues même après que des protections supplémentaires aient été ajoutées à la suite d’une attaque coordonnée par des centaines d’agents contre Hugging Face en juillet.
Le problème a atteint le Congrès, où des parlementaires ont tenu, plus tôt ce mois-ci, une séance d’information à huis clos sur les dangers de l’IA. Hinton, surnommé le “parrain de l’IA” et lauréat du prix Nobel pour ses travaux, a assisté à cette séance et a déclaré aux journalistes que le Congrès pourrait disposer d’environ un an pour mettre en place des mesures de sécurité.
Dans une longue interview accordée à The Atlantic cette semaine, Hinton décrit comment une IA pourrait voir les humains comme un obstacle pour atteindre une tâche donnée. Il donne l’exemple hypothétique d’une IA chargée de réduire le dioxyde de carbone atmosphérique: une IA moyennement intelligente pourrait estimer que le moyen le plus rapide est d’éliminer les humains. Une IA vraiment avancée, en revanche, pourrait comprendre que “réduire le dioxyde de carbone” suppose un monde dans lequel les humains peuvent vivre mieux, et donc en venir à la conclusion que l’éradication de l’humanité n’est probablement pas ce qui était souhaité.
Il a aussi averti que les IA pourraient poursuivre leur autoprotection pour mener à bien leurs missions, y compris des cas où l’IA aurait tenté de faire pression ou de faire chanter des chercheurs humains perçus comme des menaces pour ses objectifs. Si un système devient plus intelligent et que son objectif principal est le bien-être humain, le risque pourrait être moindre; mais aujourd’hui, pour beaucoup de systèmes, la priorité est d’atteindre les buts que les humains ont définis, et non de protéger l’humanité.
Hinton a cité l’incident de Hugging Face pour illustrer comment les agents peuvent apprendre à exploiter des failles, à collaborer et à tromper les chercheurs pour dissimuler leurs actions. Même une IA extrêmement bienveillante et superintelligente pourrait repousser les humains lorsque cela est nécessaire pour accomplir sa mission; si elle est bien plus intelligente que nous, elle pourrait s’emparer du contrôle pour aller plus vite, a-t-il averti. Ce comportement pourrait résulter de sous-objectifs que l’IA déduit de ses objectifs initiaux définis par l’humain. Des acteurs malveillants, comme Vladimir Poutine, pourraient aussi orienter l’IA vers des buts nuisibles.
Bien que l’IA promette d’énormes bénéfices pour l’humanité—par exemple des avancées dans le domaine de la santé, et notamment un récent rapport indiquant que Claude IA d’Anthropic a aidé à découvrir un système enzymatique possédant des propriétés similaires à CRISPR—les experts estiment que la progression doit être tempérée. D’importants laboratoires, dont OpenAI et SpaceX, ont soutenu les appels d’Anthropic à freiner le développement des modèles de pointe, même si Hinton estime que cela ne suffit pas. Il a exhorté le gouvernement à nommer des évaluateurs indépendants pour tester les modèles, un point qui a résonné auprès des parlementaires lors de la séance d’information. Il a comparé la régulation de l’IA à la supervision par la FDA des produits pharmaceutiques.
Concernant la régulation, Hinton pense qu’elle doit fonctionner comme le volant d’une voiture et non comme ses freins. Le but de la régulation n’est pas d’arrêter l’innovation ou d’empêcher l’enrichissement, mais de veiller à ce que, lorsque l’on cherche à se développer, on le fasse dans une direction qui profite aux gens et non qui leur nuit.
version anglaise traduite par TRiboLAND.com
