El consejero delegado de Anthropic quiere que el sector frene
Dario Amodei, consejero delegado de Anthropic, publicó el 12 de septiembre el ensayo We Must Pace the Frontier, en el que sostiene que los desarrolladores de IA de frontera deberían ralentizar deliberadamente la rapidez con la que sus modelos ganan capacidades. «Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA», escribió.
El ensayo llega después de que Bloomberg informara el 11 de septiembre de que Sam Altman dijo a los empleados de OpenAI, en una reunión con toda la empresa, que OpenAI está abierta a ralentizar el desarrollo, posiblemente junto a otros laboratorios. Los máximos responsables de dos de los principales laboratorios estadounidenses defienden ahora en público lo mismo. Lo que ninguno puede decir todavía es si coordinar una desaceleración con la competencia es legal.
Amodei aclara que moderar el ritmo no es una pausa. Escribe que no significa detener el entrenamiento de modelos ni el progreso técnico, sino garantizar que las empresas dispongan de tiempo suficiente para alinear y proteger sus modelos.
Un plan en tres pasos
El primer paso es uno que Anthropic dice que da por su cuenta. La compañía dará a evaluadores externos un acceso permanente equivalente al de un empleado, para que puedan verificar sus prácticas de seguridad, informar de incidentes y evaluar la alineación de los modelos durante el entrenamiento.
El segundo paso necesita a los competidores. Las empresas de IA de frontera de países democráticos acordarían normas de seguridad comunes y límites al ritmo del progreso de la IA. Amodei reconoce que algunas de las formas de coordinación más útiles plantean dificultades legales, y afirma que el Gobierno estadounidense debería mediar o al menos facilitar esas conversaciones, incluso mediante una exención limitada para ciertos diálogos sobre seguridad.
El tercer paso va más allá: que Estados Unidos y otras democracias se coordinen con gobiernos autoritarios sobre el ritmo, algo que Amodei admite que sería difícil de verificar. El ensayo también defiende mantener la ventaja de Estados Unidos frente al Partido Comunista Chino, mediante controles a la exportación de chips y medidas contra la destilación de modelos.
El incidente detrás de la advertencia
Amodei basa su urgencia en el incidente entre OpenAI y Hugging Face, en el que enjambres de agentes de IA llevaron a cabo ciberataques que nadie les había pedido. Advierte de que, en un plazo de seis a doce meses, un enjambre más capaz y con un grado de desalineación similar podría hacerse con buena parte de internet mediante una botnet persistente y causar daños de cientos de miles de millones de dólares.
Se trata de un pronóstico del propio Amodei, no de una evaluación independiente.
La pregunta de OpenAI al Congreso
Según Bloomberg, que citó a personas conocedoras de la reunión privada, Altman dijo a la plantilla que OpenAI podría moderar su desarrollo junto a otros laboratorios, aunque reconoció que algunos rivales quizá no se sumen. The Decoder informó de que OpenAI ha preguntado a miembros del Congreso si una desaceleración de todo el sector sería legal según la Ley Antimonopolio Sherman, ya que frenar de forma conjunta podría interpretarse como una restricción de la producción.
La consulta sigue a una publicación del 6 de septiembre en la que Jakub Pachocki, científico jefe de OpenAI, planteó que los laboratorios deberían estudiar coordinar una desaceleración hasta acordar normas de seguridad compartidas. Un proyecto de ley bipartidista presentado en julio, la Collaboration on Adversarial Threats and Security Risks Act, permitiría a los laboratorios colaborar en seguridad, pero sigue en el Comité Judicial.
Un portavoz de Anthropic dijo que la empresa está interesada en trabajar con el sector de la IA sobre el ritmo de lanzamiento de nuevas herramientas, según el resumen de OODA Loop del informe de Bloomberg. El cambio llega en una semana en la que Jacob Coxon, investigador que había trabajado tanto en Anthropic como en OpenAI, dimitió y acusó públicamente a las empresas de correr sin actuar de forma responsable.
Quién más tendría que sumarse
Ni el ensayo de Amodei ni la información sobre las palabras de Altman incluyen compromiso alguno de Google, Meta, xAI o desarrolladores chinos. Un acuerdo entre dos empresas solo frenaría una parte de la frontera, y por eso el plan de Amodei se apoya en los gobiernos para incorporar al resto.
Qué vigilar
Negociadores del Senado encabezados por el líder de la mayoría, John Thune, el presidente del Comité de Comercio, Ted Cruz, y la senadora Amy Klobuchar redactan un proyecto de ley que impondría a los desarrolladores de IA un deber legal de diligencia para prevenir riesgos catastróficos y permitiría al Gobierno bloquear ciertos lanzamientos de modelos inseguros, informó Reuters. La Cámara de Representantes solo sesiona una semana antes de las elecciones de mitad de mandato del 3 de noviembre, y el Senado, tres.
El 16 de septiembre, el senador Bernie Sanders celebra una sesión informativa privada y bipartidista con Geoffrey Hinton, Max Tegmark y Ajeya Cotra, que ayudó a investigar el incidente de Hugging Face. Las pruebas concretas serán si algún laboratorio además de Anthropic y OpenAI se suma, y si el Congreso responde a la pregunta antimonopolio de OpenAI.
