Lo que Thom dice que preguntó a OpenAI
Andreas Thom, especialista en teoría de grupos de la Universidad Técnica de Dresde (TU Dresden), afirma que OpenAI le dio una respuesta “materialmente engañosa” cuando preguntó si meses de conversaciones privadas con ChatGPT sobre su investigación pudieron alimentar el modelo al que la empresa atribuyó después la construcción del primer grupo no sófico. Expuso su versión en una entrada invitada en el blog de Terence Tao el 11 de septiembre, dos días después de plantearlo en un hilo en Mathstodon.
Según Thom, él y un colega de Dresde pasaron meses discutiendo con ChatGPT el problema de emparejamiento en expansores y extensiones de su trabajo anterior con Gábor Kun. Poco después del anuncio de OpenAI sobre los grupos no sóficos, escribió a los investigadores de OpenAI Mark Sellke y Sébastien Bubeck para preguntar si esas conversaciones habían formado parte de los datos de entrenamiento o habían sido accesibles para el proceso de razonamiento.
Thom cita así la respuesta completa de Sellke: “En cuanto a sus conversaciones con ChatGPT: eso no ocurrió”.
Por qué considera engañosa la respuesta
Thom sostiene que había hecho dos preguntas distintas: si las conversaciones entraron en los datos de entrenamiento y si el sistema pudo acceder a ellas mientras trabajaba en el problema. A su juicio, la negativa de una sola línea parece ahora referirse solo a la segunda. Escribe que no vino acompañada de matices, explicaciones ni pruebas.
Lo que cambió su lectura, dice, fue la formulación de OpenAI en otro caso. Al responder esta semana a las dudas planteadas por los matemáticos Tristan Buckmaster y Levent Alpöge, OpenAI dijo que no se accedió a datos concretos de usuarios para resolver el problema, pero que “no puede descartar” que datos desidentificados derivados del uso que ambos hicieron de sus productos ayudaran a mejorar sus modelos, según citó ABC News. Esa declaración se refería a Buckmaster y Alpöge, no a Thom. Thom argumenta que traza precisamente la distinción entre acceso directo y entrenamiento que la respuesta de Sellke no hizo.
Thom escribe que desactivó el entrenamiento de modelos el 29 de junio. Describe ese ajuste como una promesa que los usuarios no pueden auditar y que no dice nada sobre las conversaciones anteriores. Añade que desde entonces le señalaron una declaración más reciente de OpenAI según la cual las instrucciones de Buckmaster en Codex no pudieron influir en su sistema, tampoco a través del entrenamiento.
El resultado en el centro de la disputa
Los grupos sóficos son una clase de grupos introducida por Mikhail Gromov en 1999, y en los 27 años transcurridos nadie había logrado demostrar ni refutar que existieran grupos no sóficos. A comienzos de agosto, OpenAI dijo que una versión interna de su modelo Astra había producido la primera construcción explícita de un grupo no sófico, uno de los diez resultados que anunció, según informó The Next Web.
Thom escribe que la demostración se apoyó de forma crucial en su artículo de 2019 con Kun y que, aun así, el anuncio original de OpenAI hablaba de una década sin avances. Tras su objeción, dice, OpenAI modificó el enfoque de ese anuncio.
Thom presenta la cuestión de los datos como una pregunta abierta, no como un hecho probado. Su argumento es condicional: si investigación no publicada aportada por usuarios mejoró un modelo que después se usó para adelantarse a esos mismos usuarios en la publicación, sin consentimiento, transparencia ni reconocimiento, escribe, eso sería éticamente indefendible. OfficeChai y Notebookcheck informaron sobre la acusación el 10 de septiembre.
La posición de OpenAI
El correo de Sellke es la única respuesta de OpenAI que Thom menciona. Notebookcheck informó de que OpenAI no había respondido públicamente, y Aivio News no encontró ninguna declaración de la empresa sobre el relato de Thom en el momento de la publicación. Para que una negativa sea creíble, sostiene Thom, OpenAI debería explicar en qué se basa: los ajustes de producto y privacidad pertinentes, los conjuntos de datos y versiones guardadas de los modelos, y qué entiende por datos desidentificados derivados del uso.
La acusación se suma a una semana de tensión entre OpenAI y los matemáticos investigadores. El 10 de septiembre, el investigador de OpenAI Dan Roberts anunció que la empresa retiraba su patrocinio del Caltech Mathathon, una competición prevista a partir del 30 de octubre, después de que matemáticos actuales y antiguos de Caltech publicaran una carta abierta contra el evento, según Gizmodo. La carta indicaba 771 firmantes en el momento de su publicación.
Qué vigilar
La cuestión pendiente es la que Thom planteó por escrito a OpenAI: si conversaciones como las suyas, en cualquier forma desidentificada, llegaron a los datos de entrenamiento del modelo que produjo el resultado sobre grupos no sóficos. OpenAI no ha dicho si ofrecerá la explicación más completa que él reclama.
