El acuerdo
Anthropic anunció el jueves que ha elegido a Faculty, la unidad especializada en IA de Accenture, como su primer evaluador integrado. Faculty se encargará de “evaluar los modelos y someterlos a red teaming, realizar evaluaciones de alineamiento y probar las salvaguardas del modelo”. Ambas empresas afirman que esperan invertir al menos 1.000 millones de dólares cada una en los próximos cinco años para desarrollar esa capacidad.
El rasgo distintivo es el acceso. Hoy los evaluadores externos suelen ver un modelo tarde, a través de una API y durante una ventana fija. Los evaluadores integrados, según la descripción de Anthropic, trabajan dentro de la empresa con un acceso comparable al de un empleado: pueden observar cómo se forma un modelo durante el entrenamiento, seguir las decisiones que rigen cómo se construye y despliega, y hablar directamente con el personal.
Accenture compró Faculty en enero. Sus acciones subieron alrededor de un 8% tras el cierre del mercado el día del anuncio.
La primera prueba de una idea muy debatida
La evaluación integrada ha sido la propuesta concreta dentro de un mes de discusión abstracta sobre frenar el ritmo. Dario Amodei pidió a los laboratorios que marquen juntos el paso de la frontera; Sam Altman comprometió a OpenAI con evaluadores de seguridad integrados el 13 de septiembre; OpenAI, Anthropic y Google DeepMind llevan semanas hablando de un organismo de normas autorregulado inspirado en FINRA.
Este es el primero de esos compromisos que pone nombre a una contraparte y una cifra.
Anthropic deja claro que el acuerdo no es exclusivo. La empresa dice estar también en conversaciones con METR y otras entidades sin ánimo de lucro para poner en marcha pilotos de evaluación integrada financiados por esas mismas organizaciones.
La objeción
La elección sorprendió a quienes esperaban una organización de investigación en seguridad. El debate público sobre evaluadores integrados ha girado en torno a METR, Redwood Research y Apollo Research, entidades pequeñas cuyo único negocio es examinar modelos. Accenture es una consultora cuyo negocio es ayudar a empresas y gobiernos a desplegar IA, incluida, potencialmente, la de Anthropic.
La respuesta de Anthropic es que Accenture aporta experiencia práctica en el despliegue de IA a gran escala en grandes organizaciones, y que ser una empresa cotizada anterior a la industria actual de la IA le da lo que Anthropic llama independencia funcional respecto de su propio ecosistema.
Los críticos leen el plan de otro modo: un régimen de seguridad que los laboratorios diseñan, financian y dotan de personal sería una forma de anticiparse a la rendición de cuentas antes que de aceptarla. Anthropic responde que “la seguridad de nuestros modelos sigue siendo nuestra responsabilidad” y que los evaluadores no reducen esa responsabilidad, sino que la hacen más verificable. El director ejecutivo de Cohere, Aidan Gomez, calificó esta semana el impulso normativo de los tres mayores laboratorios como un cartel con otro nombre.
Lo que todavía falta
El propio anuncio de Anthropic es franco sobre los huecos. Aún no hay normas sobre a qué información debe tener acceso un evaluador integrado ni sobre cómo debe informar de lo que encuentre. Tampoco hay un sistema asentado para financiar la evaluación independiente: por ahora Anthropic paga directamente a Accenture y sostiene que a largo plazo el dinero debería salir de fondos comunes o públicos, no de la empresa evaluada.
Esa es la pregunta que el acuerdo deja abierta. Un evaluador pagado por el laboratorio al que evalúa tiene un problema evidente, y ambas partes lo admiten. La orden ejecutiva de California del 18 de septiembre y la ley FRONTIER que se tramita en la Cámara de Representantes contemplan una versión legal de este papel. Lo que conviene vigilar es si la versión voluntaria llega antes a fijar los términos.
