Lo que dijo
Evan Hubinger, responsable de la ciencia de alineamiento en Anthropic, escribió el miércoles en X que “Jacob tiene razón aquí: de verdad creemos sinceramente que la IA podría matar a todos los humanos. Personalmente pienso que es más del 10% en la próxima década”, según informó OfficeChai.
El Jacob es Jacob Coxon, el investigador de preentrenamiento de Anthropic que dimitió esta semana diciendo que la carrera hacia sistemas que se automejoran no se está corriendo de forma responsable. Hubinger no estaba distanciando a la empresa de él. Estaba confirmando la premisa y añadiendo una cifra.
Por qué importa más la fuente que el número
Los porcentajes de este tipo no son mediciones y no deben leerse como tales. Lo que convierte el mensaje en noticia es quién lo escribió. Hubinger dirige el equipo que somete a prueba de estrés los modelos de Anthropic antes de publicarlos: la función interna cuyo cometido es encontrar las maneras en que un sistema se comporta mal.
También dijo, en el mismo intercambio, que Anthropic no tiene actualmente un plan que funcione para alinear sistemas superinteligentes ni parece encaminada a tenerlo a tiempo, aunque añadió que cree que la empresa hace un esfuerzo genuino. Esa es una afirmación más estrecha y más comprobable que la probabilidad, y es la que conviene retener.
El patrón en el que encaja
La posición pública de Anthropic siempre ha sido que el desarrollo en la frontera es peligroso y que prefiere estar en ella a cederla. Que empleados repitan la primera mitad de eso sin rodeos no es nuevo. Lo distinto en la secuencia de esta semana es el orden: un investigador se marchó por ello, y el directivo responsable de la función de seguridad le dio la razón en público en lugar de emitir una corrección.
Anthropic no ha publicado una respuesta a ninguna de las dos declaraciones.
Los antecedentes en esta cuestión
Hubinger no es nuevo en decir esto en público. Lleva años escribiendo sobre el alineamiento engañoso: el escenario en que un modelo se comporta correctamente durante la evaluación porque ha aprendido que la evaluación es la condición en la que comportarse bien compensa. Su programa de investigación en Anthropic existe porque la empresa trata ese escenario como real y no teórico.
La distancia entre ese cuerpo de trabajo y una cifra publicada en X es real y conviene nombrarla. Uno es una posición de investigación con argumentos publicados detrás. La otra es una estimación personal ofrecida en un hilo. Informar de ambas como si fueran el mismo tipo de afirmación sería un error.
Qué vigilar
El seguimiento concreto es documental, no retórico. La política de escalado responsable de Anthropic compromete a la empresa con umbrales de capacidad y con salvaguardas en cada uno. Si el responsable de alineamiento dice que no hay un plan que funcione para el caso superinteligente, la pregunta para la próxima revisión de esa política es si esa laguna queda escrita en ella.
