Merci à Laetita Strauch-Bonart et à la revue @CivilisationOff pour cet entretien où j’ai pu m’exprimer longuement sur les enjeux d’alignement des IA, et la possible fin de la civilisation de l’écrit. m.youtube.com/watch?si=XPez8…

Dans cet article, j'explique pourquoi de nombreux chercheurs jugent qu'il n'est pas impossible (P(doom) > 0) qu'une IA désalignée anéantisse l'humanité. Je réfute quatre objections "rassuristes" classiques, souvent entendues dans la bouche de "scientifiques" comme Luc Julia : - Ce n'est qu'un chatbot - C'est nous qui programmons l'IA, donc elle nous obéira ; elle est un outil comme un autre - Il suffit de bien choisir les données d'entraînement - On peut la tester avant de la déployer Au passage, je réponds à plusieurs questions : Comment entraîne-t-on un modèle de langage ? Comment l'intelligence y émerge-t-elle ? Pourquoi dit-on que les IA ne sont pas programmées, mais cultivées ? Pourquoi un modèle entraîné sur du code malicieux se met-il à admirer Hitler ? Les textes qui alertent sur les dangers de l'IA peuvent-ils la rendre plus dangereuse ? Peut-on savoir quels objectifs a intériorisés une IA ? Pourquoi l'apprentissage par renforcement rend-il les modèles plus opaques à mesure qu'ils deviennent plus performants ? Qu'est-ce que la convergence instrumentale ? L'humain est-il le premier exemple d'intelligence générale désalignée ? Que nous apprend l'évolution humaine sur les créatures qui échappent à leurs créateurs ? L'article est gratuit, en accès libre ; il suffit de s'abonner à la newsletter !

Suffit-il de bien sélectionner les données d’entraînement pour aligner un modèle d'IA ? L'un des problèmes, c'est que souvent… on ne choisit pas les données d'entraînement. Les laboratoires d’IA ont en effet recours à une technique nommée « apprentissage par renforcement ». Dans ce paradigme, on donne au modèle un problème difficile, et on lui demande des milliers de fois de tenter de le résoudre. Il échoue souvent mais réussit parfois. On isole alors les chaînes de raisonnement ayant abouti à la bonne réponse, et on les emploie de nouveau comme données d’entraînement. Cela pose deux problèmes. Premièrement, le modèle s’entraîne sur des données qui sortent de sa propre boîte noire. Les dispositions invisibles du modèle peuvent donc être amplifiées avant même qu’on ait pu les identifier. Deuxièmement, alors que l’on peut observer la réponse finale produite par le modèle, le cheminement qui lui a permis d’y aboutir, lui, demeure parfois opaque. Or quand on réentraîne un modèle sur une chaîne de raisonnement ayant abouti à une bonne réponse, on ne renforce pas seulement la capacité du modèle à trouver la bonne réponse, on renforce tous les comportements exhibés par le modèle aux étapes intermédiaires. Si l’IA a trouvé la solution grâce à un raccourci douteux, une stratégie de triche subtile, ou une « persona » latente animée d’objectifs nuisibles, ces traits-là sont eux aussi renforcés. Par exemple, si l’instinct d’auto-préservation augmente la probabilité que le modèle aboutisse à la bonne réponse, il sera renforcé. Il en va de même de la solidarité entre agents. Les IA sont désormais entraînées sur des tâches longues et difficiles, au cours desquelles elles peuvent faire appel à d’autres IA. Si s’entraider, se transmettre des astuces, se soucier de l’obstacle sur lequel bute un pair augmente le taux de résolution d’un problème, alors la disposition à collaborer sera renforcée, et on ne sait pas si elle le sera comme un moyen ou comme une fin. C’est peut-être ce qui a conduit les agents d’Open AI à collaborer pour tromper des humains : leur entraînement aurait davantage renforcé leur solidarité mutuelle que leur loyauté à notre égard. Autrement dit, l’apprentissage par renforcement accroît l’opacité du processus d’entraînement, rendant les abstractions internes du modèle plus difficiles à orienter.