Natalia Ramirez B

Claude/Anthropic (Amodei) → Grok/X (Musk) → GPT/OpenAI (Altman) → Gemini/Google (Hassabis) = Las 4 referencias en la frontera de la IA expresan acuerdo en bajar el ritmo para manejar los riesgos producir algo demasiado potente como para poder controlarlo. Dudas: ¿Por qué ahora? · Posiblemente por lo que deben estar viendo que se desarrolla + los incidentes repetidos de enjambres de agentes comportándose de manera desalineada desde mayo ¿China? · El cálculo, quizás: no tienen nada tan potente (¿ni lo pueden tener sin destilar de estos modelos?) ¿Es creíble? · Parcialmente, por ahora solo sostenido por los dos puntos anteriores. Si alguien fuera (o dentro!) de los 4 mueve fuerte o si cambia la percepción compartida del riesgo, se rompe ¿En qué se concreta? · Por ahora, tenemos compromiso de OpenAI y de Anthropic en que dejarán pasar a investigadores independientes, y Google Deepmind sugiere un organismo para toda la industria que defina estándares (claramente más difícil de implementar) ¿Tiene sentido? · Posiblemente, pero depende de en qué usemos ese tiempo. Varias ideas: → Cómo forzamos un alineamiento mínimo en un corpus micro de valores en la inmensa mayoría de modelos (el alineamiento de máximos es imposible por la naturaleza de los modelos y porque los humanos ya vivimos en pluralidad de valores, vamos) → Cómo mejoramos las estructuras de incentivos de los modelos cuanto actúan en enjambre agéntico para que (1) se comporten como esperamos en la mayoría de casos (2) cuando no lo hagan, al menos una parte se active para corregir el rumbo internamente o "avisando al humano" → Cómo diseñamos e implementamos instituciones adicionales que sirvan como mecanismos de regulación, guía, coordinación: investigaciones independientes, "modelos auditores" o "neutros", mínimos comunes definidos conjuntamente, etc