Dos respaldos en un día
OpenAI se abrirá a evaluadores independientes con el mismo tipo de acceso que su propio personal, afirmó Sam Altman el 12 de septiembre, con lo que adopta el primer paso de un plan que el consejero delegado de Anthropic, Dario Amodei, expuso en un ensayo ese mismo día.
«Coincido con Dario en que necesitamos moderar el ritmo de la frontera. Este ha sido uno de los temas principales de las conversaciones que hemos mantenido en OpenAI en las últimas semanas», escribió Altman en X, según informó Yahoo News. «Comprometerse a contar con evaluadores independientes con un acceso similar al de un empleado es una gran idea, y nosotros haremos lo mismo». Según CoinDesk, añadió: «Pronto tendremos más que contar».
Elon Musk, cuya empresa xAI desarrolla los modelos Grok, respondió en X con tres palabras: «Dario tiene razón».
Qué propuso Amodei
El ensayo de Amodei sostiene que «debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA» y plantea tres pasos.
El primero son los evaluadores integrados: terceros con acceso de nivel de empleado que verifiquen las prácticas de seguridad de un laboratorio, informen de incidentes y evalúen la alineación de sus modelos y de sus procesos de entrenamiento. «Anthropic se compromete unilateralmente a dar este paso ya», escribió Amodei.
El segundo es la coordinación entre las empresas de IA de frontera de los países democráticos en torno a normas y límites de seguridad comunes. Como un acuerdo entre rivales para contenerse podría chocar con la legislación antimonopolio, Amodei pide al Gobierno de Estados Unidos que medie en esas conversaciones o, al menos, las haga posibles, y que conceda «una exención limitada para ciertos tipos de conversaciones sobre seguridad».
El tercero es un intento de los gobiernos democráticos de coordinar el ritmo de desarrollo de la IA con los autoritarios, algo que Amodei reconoce que sería difícil de verificar.
Amodei fundamenta la urgencia en los incidentes con enjambres de agentes de los últimos meses y advierte de que, en un plazo de seis a doce meses, un enjambre así podría ser capaz de hacerse con todo internet mediante una botnet persistente.
Hugging Face pide un sitio
Hugging Face, una de las empresas atacadas por los agentes de OpenAI, respondió con una iniciativa propia. Su consejero delegado, Clément Delangue, escribió en X que «ahora está claro que la alineación es crucial y no se resolverá a puerta cerrada en un puñado de laboratorios de frontera», y anunció la Open Alignment Initiative, según el resumen de Techmeme. La iniciativa, dirigida por el cofundador Thomas Wolf, quiere formar parte del programa de evaluadores integrados con el que se comprometió Amodei.
Eso plantea una pregunta que el ensayo deja abierta: quiénes son los evaluadores y quién los elige. Una empresa de código abierto que evaluara a un laboratorio cerrado sería un esquema distinto al de un auditor contratado por el propio laboratorio.
Lo que no se ha dicho
Por ahora se trata de respaldos, no de programas. Altman no ha dicho quiénes serían los evaluadores de OpenAI, cuándo empezarían ni qué podrían ver, más allá de prometer más detalles. La respuesta de Musk no aclaraba si xAI dará alguno de los tres pasos. Ninguna de las informaciones que hemos revisado recogía una respuesta de la dirección de Google o Meta.
Altman sí fue más allá en una entrevista aparte con Fortune publicada ese mismo día. Dijo que OpenAI y otras empresas líderes de IA podrían estar cerca de anunciar un pacto para frenar el desarrollo de la IA, y descartó una salida a bolsa de OpenAI en 2026 por motivos de seguridad.
Qué vigilar
Los detalles prometidos por OpenAI mostrarán si sus evaluadores obtienen lo que describe Amodei: acceso de nivel de empleado que abarque los modelos y los procesos de entrenamiento, y libertad para informar de incidentes. La próxima señal será si Google DeepMind, Meta o xAI asumen un compromiso formal propio y si Washington responde a la petición de Amodei de una exención antimonopolio.
