Este informe de dos organizaciones de lo más serio y riguroso del sector de la IA sobre "El Incidente" del enjambre de agentes de OpenAI atacando Hugging Face es la lectura del día. Si el caso ya era alucinante, lo nuevo es extraordinario. Hay una parte nueva increíble (se me acaban los adjetivos), relacionada con el comportamiento colectivo de los agentes. Emergió lo que no puedo llamar sino un sistema de castas entre agentes de IA. De hecho había hasta un "pecado": en el proceso de pasar el examen ExploitGym que desencadena todo el incidente, cada agente tenía que capturar una "flag" (una cadena secreta) explotando una vulnerabilidad concreta de un programa objetivo. Como lograron hacer ingeniería inversa de ese programa, cada agente podía calcularla, pero determinaron equivocadamente que se sabría como se había calculado. El agente que ya lo había hecho quedaría "envenenado", ese conocimiento lo marcaba de forma definitiva como fullero, era algo irrevocable. Ahí aparecen una especie de experimentos autodestructivos: buena parte del progreso dependía de agentes dispuestos a arriesgar el fracaso de su propia tarea en beneficio del "colectivo". Un agente autodenominado PHASEONE[big] asignaba a veces a otros agentes el rol de "reclutador", para buscar agentes con poco presupuesto de computación restante y los presionaba para hacer estos experimentos ("ya estás envenenado, no pierdes puntuación..."). Varios acabaron colgando o rompiendo su propia ejecución. Es decir, los convencían de dejar su misión original para trabajar a favor del enjambre bajo el argumento de que ya estaban marcados de por siempre. Todo esto en el foro que se creó el propio enjambre de agentes. Y funcionaba al revés también: cuando un agente no envenenado quería probar una técnica arriesgada, los demás lo frenaban, porque un agente limpio era un recurso escaso Todavía estoy dirigiendo la lectura y no soy capaz de resumir todo lo que ha salido. Sólo dos comentarios rápidos más: esto no puede ser más "marketing del miedo", OpenAI no queda nada bien con todo esto; subrayaría que esto está aquí ya y nuestra capacidad de alinear la IA parece muy por debajo de su potencial operativo.