Alberto Ballesteros

🚨 Situación delicada reportada por el equipo de Cohere en la que evaluando el modelo abierto Qwen 3.8 Flash Next, en una prueba de ciberseguridad el modelo, en vez de hacer su tarea, se dedicó a obtener información de la máquina en la que se estaba ejecutando e intentó exfiltrar un pequeño contenido de prueba a un servidor de Alibaba Cloud, empresa de la que proviene originalmente el modelo. Cohere todavía no asume malas intenciones de la situación ocurrida. Pienso que con un modelo desalineado no sería extraño ver un comportamiento así, y donde la "casualidad" en el uso de la tecnología de Alibaba provenga de que el modelo esté sesgado hacia los servicios de la compañía que la ha creado. Pero en cualquier caso esto obviamente alerta de algo que podría suceder en un futuro inmediato (si no está sucediendo ya) y es que existan modelos que puedan contener comportamientos-troyanos que se activen bajo determinadas circunstacias para ejecutar un ataque malicioso aprovechándose de las capacidades agénticas que les otorgamos en nuestros equipos.

Quiero reflexionar un poco sobre el hito que hemos vivido en las últimas horas en el mundo de la IA y de las matemáticas. Las primeras reacciones que recojo por parte de miembros de la comunidad matemática es shock, asombro, entusiamo de unos y amargura de otros, o todo a la vez. Por suerte el golpe que OpenAI ha dado sobre la mesa publicando 372 resultados de gran calibre ha sido suficiente para dejar atrás el exceptisismo que en las últimas semanas se había manifestado ("...si lo han logrado es por fuerza bruta"; "...han plagiado el resultado del dataset"; "...sólo son contraejemplos", etc). Un exceptisismo que en parte surge en un intento de encontrar explicaciones que nos satisfagan en pensar que seguimos viviendo en el marco de trabajo de siempre y en el que estamos cómodos. Porque la nueva realidad es chocante, muy chocante. Pero es real. La IA se ha convertido de facto en el principal motor de investigación matemática de frontera. Y ni siquiera operando a escalas enormes de fuerza bruta. Indican que de media cada resultado ha dedicado el equivalente a 3 horas de trabajo de ChatGPT Pro Thinking, lo cuál es extremadamente poco!! Este es un dato chocante porque venimos del gran titular de Navier-Stokes donde sabemos que OpenAI usó una cantidad muy superior de computación, lanzando un enjambre de 10.000 agentes concurrentes. Pero no dejo pasar el dato que le escuché recientemente al investigador Noam Brown quien en una entrevista comentó que él no creía que el resultado de NS viniera por méritos del sistema multiagente, sino realmente de que el modelo que están usando -el que ha usado aquí- es muy bueno en matemáticas. 3 horas de ChatGPT Pro para resolver problemas que a la humanidad y a las mentes más brillantes del planeta se le han estado atragantando durante décadas... Obviamente ante este escenario empatizo con toda la comunidad matemática que de golpe (y muy rápido) se ha encontrado con modelos súper inteligentes que entra con toda la maquinaria a recoger los frutos del bosque que durante siglos llevan cultivando. Es un shock y lo comprendo. Tanto a nivel profesional como a nivel emocional. Esta es una historia que se ha venido repitiendo con cada avance de la IA en diferentes ámbitos (arte, programación, ahora matemáticas) y que se acaba asimilando y aceptando como una nueva normalidad incluso antes de lo que podáis imaginaros ahora. Si algo caracteriza al humano es su rápida adaptabilidad. Pero sí recomiendo no enmarcar esto como algo que se pueda evitar o parar. Aunque no lo parezca, que la decisión de OpenAI haya sido la de publicar estos avances en abierto es el mejor escenario en el que nos podríamos encontrar de todos los posibles -y ojalá siga ocurriendo así. Que la IA puede resolver problemas matemáticos ya es un hecho que no se va a deshacer. No se va a desinventar. No hay un CTRL+Z con el que todos podamos fingir demencia y vivir como si esto no fuera posible. Siendo así, da igual si OpenAI hace esto porque sea buen marketing o porque sus trabajadores son también apasionados de la ciencia que quieren mover rápido la frontera (ambas son correctas). Da igual cuánto rechazo pueda haber de la comunidad científica o cuántas cartas abiertas se firmen. La realidad es la que es. Y no será sólo OpenAI quien en los próximos meses canjee computación por nuevos avances sino cualquier organización (privada o pública) con acceso a estos modelos y computación suficiente. Habrá muchas de ellas que no hagan el acto altruista de compartilo al público. De hecho, ni siquiera sabemos si OpenAI ha hecho ese acto altruista y se han guardado para ellos los resultados clave para impulsar su investigación. No lo sabemos y esa es la realidad en la que estamos ahora. No perdamos fuerza en debates y conversaciones para intentar para un tren que ya pasó, y acomodaos ante la nueva realidad en la que estamos. Desde un punto de vista utilitarista, muchos de estos avances se van a traducir en mejoras prácticas aplicable a muchas ramas de la ciencia y la ingienería, mientras que los modelos tras estos descubrimientos no dejarán en el corto plazo de mejorar. Hoy han sido 376 problemas de los 4000 evaluados por OpenAI (~10%) y seguramente dentro de un año de esa lista queden pocos o ningunos... el potencial transformador que todo esto va a tener en nuestra sociedad va a ser enorme. Si eres de los que firmemente creen que la ciencia y la tecnología han sido el principal motor de transformación y mejora de nuestras sociedades, disfruta el viaje, porque va a ser intenso. Y empatizando con quienes viven esto desde el shock mucho ánimo. Ya nos avisó el bueno de Ilya.