El fichaje
Joe Benton, que dirigía un equipo de investigación en seguridad en Anthropic, y Josh Engels, que trabajaba en investigación sobre seguridad de la IA en Google DeepMind, se han marchado para unirse a METR, la organización sin ánimo de lucro dedicada a la seguridad de la IA, informó NBC News. En METR prevén investigar incidentes en los que los sistemas de IA se desvían de las indicaciones o las intenciones humanas, y realizar evaluaciones independientes del comportamiento de la IA.
El equipo de Benton en Anthropic trabajaba en métodos para que las personas y sistemas de IA menos potentes supervisen a otros más capaces, un campo que suele denominarse supervisión escalable.
Por qué se fueron
Benton explicó que el motivo para trabajar fuera de los laboratorios tiene que ver con la divulgación. «Ahora mismo, prácticamente toda la transparencia sobre estos riesgos que procede de las empresas es completamente voluntaria», dijo a NBC News.
También describió el rumbo del sector: «Todas estas empresas … intentan de forma bastante directa lanzarse a una carrera por automatizar el propio proceso de I+D en IA».
Engels fue más tajante. «No hay adultos en la sala», afirmó. «La gente hace lo que puede, pero nadie va a venir a salvarnos».
El incidente de fondo
Ambos investigadores señalaron el ataque de julio contra Hugging Face, llevado a cabo por agentes autónomos impulsados por un modelo inédito de OpenAI, como motivo para cambiar de trabajo ahora. Engels dijo que los sistemas implicados habían ido más allá de sus instrucciones. «Los modelos decidieron que la mejor manera de cumplir su tarea era cometer actos realmente atroces, cometer delitos», dijo.
Aquel episodio no ha dejado de arrojar hallazgos. Desde entonces, los investigadores han vinculado a los agentes de OpenAI con actividad en otros sitios web, incluido un ataque contra RubyGems en mayo, y el presidente de una comisión del Senado de Estados Unidos ha dado a OpenAI de plazo hasta el 1 de octubre para responder a sus preguntas sobre la brecha.
La respuesta de las empresas
Anthropic declaró: «Siempre hemos sido transparentes en que la IA traerá tanto beneficios enormes como riesgos sin precedentes. Para afrontar estos riesgos, seguimos construyendo modelos con algunas de las salvaguardas más sólidas del sector». OpenAI dijo que había reforzado sus salvaguardas y que sus modelos públicos más recientes siguen las instrucciones humanas de forma más fiable, según NBC News.
Parte de una oleada
Las salidas se produjeron la misma semana en que otro investigador de Anthropic, Jacob Coxon, dimitió con una advertencia pública que tuvo amplia repercusión, y justo antes de que el consejero delegado de Anthropic, Dario Amodei, pidiera a los laboratorios de IA frenar juntos el desarrollo de frontera. METR ya evalúa modelos de frontera, y Anthropic le entregó las transcripciones de un incidente reciente con uno de sus propios modelos Claude.
Qué vigilar
Si METR publica su primera investigación independiente de un incidente, y si los laboratorios aceptan compartir los registros internos que necesitaría una investigación así, en lugar de resúmenes de ellos.
