Je résume le complotisme actuel sur les labos d'IA : - Si les employés d’Anthropic affirment que leur technologie va exterminer l’humanité, c’est en fait… une stratégie marketing pour faire monter la valeur de leur entreprise ? - Si Anthropic décide à grand coût de faire venir des armées d’évaluateurs en interne, de freiner sur l’amélioration auto-récursive et l’entraînement de modèles toujours plus puissants, c’est en fait… pour prendre de l’avance sur les modèles open-source ? La stratégie inverse aurait pourtant semblé optimale. - Si OpenAI publie des rapports montrant que ses agents sont gravement désalignés, enclins à se coordonner pour comploter contre des humains et exploiter des failles de sécurité qu’on leur avait explicitement dit de ne pas exploiter, c’est… pour préparer leur entrée en bourse ? Le fait est (évidemment) que les actions et les déclarations des labos s’expliquent beaucoup mieux par la sincérité, par une crainte authentique de perdre le contrôle que par du cynisme et une partie d’échecs en 18 dimensions pour manipuler l'opinion publique en embarquant des employés mentant tous dans le même sens. Le rasoir d'Ockham : l'explication la plus simple est souvent la bonne. Comment expliquer ce complotisme ? 1) Il s'enracine aussi dans une mauvaise idée de la nature humaine : l'homme vu comme un calculateur mu uniquement par son interêt égoïste. Or à travers l'histoire, la plupart des acteurs (même ceux qui ont fait du mal) étaient mus par l'idéologie, par l'envie de façonner un monde meilleur, ou du moins, d'agir en conformité avec leurs valeurs. Il est peut-être plus facile d'imaginer un complot que d'imaginer qu'Amodei veuille authentiquement faire le bien, et soit prêt à y sacrifier son interêt commercial. (Attention : si vous n'arrivez pas à concevoir cela... cela dit peut-être quelque chose de vous.) Personnellement, je pense que l'humanité a de la chance d'avoir Dario Amodei à ce poste. 2) Reconnaître que Amodeï lui-même a le vertige, cela obligerait certains à douter, à réfléchir, peut-être à abandonner leur grille de lecture "il faut foncer le plus vite possible, tous ceux qui pensent l'inverse sont des doomers, des gauchistes décroissants, ou des cyniques qui souhaitent faire de la capture réglementaire". Mais certains semblent furieux d’imaginer qu’il puisse y avoir de réels enjeux derrière ces questions de sécurité. On se rend compte souvent qu'ils ont peu lu, n'ont jamais tenté d'engager honnêtement avec ces idées et se contentent de plaquer sur l'IA une grille de lecture paresseuse (« un saut technologique comme une autre ») sans jamais essayer de la penser dans sa spécificité. Ils protègent leur vision du monde, mise à mal par les faits, en se réfugiant dans le complotisme. On a d'ailleurs l’impression que RIEN ne pourrait bousculer les certitudes absolues. Au lieu de mettre à jour leur vision du monde à la lumière des faits, ils jugent les faits à la lumière de leurs certitudes. C'est pourquoi ils expliquent que l'incident Hugging Face / OpenAI ne nous enseigne rien sur l'état actuel de la technologie ou sur la difficulté à aligner des modèles, qu'il s'agit d'un coup de marketing ou d'une erreur d'Open AI ("le modèle est innocent, le problème était la sandbox !"). Le point n'est pas que cet incident montre que nous allons tous mourir ou que l'alignement est impossible. Simplement, il est irrationnel d'avoir exactement la même position avant et après : cela signifie qu'on est un idéologue dont l'opinion n'est nullement bousculé par la réalité. Beaucoup ne raisonnent pas, ils récitent tels des perroquets stochastiques. 3) Dernier facteur pouvant expliquer le complotisme : l'inculture sur l'histoire de l'IA. Beaucoup ne semblent pas savoir que cela fait 20 ans que les entrepreneurs et chercheurs de ce secteur portent cette technologie avec optimisme et espoir, mais aussi avec une forme d'immense gravité et une obsession pour les enjeux de sécurité, d'alignement et de gouvernance (parfois trop d'ailleurs, ça a beaucoup nui à Deepmind dans les années 2010). Semaine après semaine, les faits donnent un peu plus de crédit à leurs craintes, il est donc naturel de les voir en parler de plus en plus.

Regelemachin se réjouit de l'assassinat de Kirk au motif qu'il jugeait ses idées dangereuses. Selon cette logique, qu'est-ce-qui nous empêche d'assassiner Regelemachin ? Personnellement, je trouve ses idées beaucoup plus dangereuses que celles de Kirk (Kirk n'a jamais justifié l'assassinat d'opposants idéologiques, par exemple). L'extrême-gauche ne se rend même plus compte qu'elle sape le fondement même de la civilisation, le principe qui nous permet de ne pas nous entre-tuer. J'ai un tel mépris pour ces gens.