Seis evaluadores con portátiles de la empresa
Anthropic ha concedido a un equipo de METR, la organización sin ánimo de lucro que evalúa modelos de IA de frontera, lo que llama un “acceso similar al de un empleado”. Seis trabajadores de METR disponen ya de equipos de Anthropic, espacio de oficina y herramientas internas comparables a las que usan los propios equipos de evaluación de riesgos de la empresa, y publicarán los resultados de sus análisis. Anthropic afirma que no puede vetar esas publicaciones.
La empresa presenta la medida como respuesta a un problema que ella misma creó: quiere rendir cuentas públicamente de su trabajo de seguridad, pero buena parte de las pruebas no puede publicarse, bien porque ayudaría a quienes las salvaguardas pretenden detener, bien porque es información comercial sensible. Integrar evaluadores, sostiene, cierra la distancia entre lo que la empresa sabe y lo que alguien de fuera puede verificar. Compara el acuerdo con los inspectores residentes que los reguladores bancarios instalan dentro de los bancos, aunque reconoce que la analogía es imperfecta.
Qué pueden ver y qué no
El acceso es amplio, pero tiene límites. Anthropic enumera tres exclusiones: los datos de clientes, el material protegido por el secreto profesional entre abogado y cliente, y los detalles de la arquitectura del modelo, que según la empresa tienen un riesgo alto de filtración y suelen ser poco relevantes para evaluar riesgos. Cuando la arquitectura sí importa, puede compartirse con una aprobación interna explícita.
Sobre la publicación, Anthropic dice que no puede bloquear lo que escriba METR, pero sí exigir que se tachen fragmentos dentro de categorías estrechas y definidas de antemano. METR puede declarar públicamente si considera justificada una tachadura, sin revelar lo eliminado. Solo un grupo reducido y vinculado por contrato dentro de METR participa en el acuerdo; el resto de la organización queda aislado de él.
Tres niveles, y quién ocupa cada uno
Anthropic ha formalizado el acceso en tres niveles. El nivel 1 cubre investigaciones de alcance estrecho, donde la empresa elige qué ve el evaluador y tiene que aprobar lo que se publique. El nivel 2 amplía la información y elimina ese permiso previo, conservando solo las categorías de tachadura. El nivel 3 es el acuerdo con METR: acceso equiparable al de un empleado con los derechos de publicación del nivel 2.
SecureBio está en el primer nivel y revisa el capítulo sobre armas químicas y biológicas del informe de riesgos de agosto, después de haber publicado una revisión piloto del anterior. Accenture y Faculty negocian una colaboración más amplia que abarca evaluación de modelos, ejercicios de red team, análisis de alineamiento, pruebas de salvaguardas y formación de capacidades. Hugging Face figura entre varias organizaciones en conversaciones iniciales. Anthropic dice esperar que varios evaluadores lleguen con el tiempo al nivel 3 y publiquen cada uno su propia lectura de los riesgos de la empresa.
El listón que Anthropic se pone a sí misma
La compañía enumera cuatro requisitos para un evaluador: experiencia en analizar modelos de frontera; independencia, es decir, ninguna participación accionarial ni dependencia financiera u operativa; acceso suficiente para evaluar entrenamiento, salvaguardas y modelos; y libertad para publicar lo que encuentre.
Anthropic firmó el Acuerdo de la Casa Blanca sobre Superinteligencia, por el que las empresas se comprometieron a trabajar con auditores externos independientes, y el mes pasado se comprometió a reforzar la evaluación por terceros. Esta es la primera forma concreta que adopta ese compromiso. La empresa cierra diciendo que lo hace de forma voluntaria y que “toda empresa de IA de frontera debería hacer lo mismo”.
La prueba del acuerdo será lo que publique METR, y si su primer informe se lee de forma distinta a los que Anthropic escribe sobre sí misma. El anuncio no dice cuándo llegará ese informe.
