Vad Thom säger att han frågade OpenAI
Andreas Thom, gruppteoretiker vid Tekniska universitetet i Dresden (TU Dresden), säger att OpenAI gav honom ett “väsentligt vilseledande” svar när han frågade om månader av privata ChatGPT-samtal om hans forskning kunde ha påverkat den modell som företaget senare tillskrev konstruktionen av den första icke-sofiska gruppen. Han redogjorde för saken i ett gästinlägg på Terence Taos blogg den 11 september, två dagar efter att först ha tagit upp det i en tråd på Mathstodon.
Enligt Thom hade han och en kollega i Dresden under flera månader diskuterat det så kallade expandermatchningsproblemet och vidareutvecklingar av hans tidigare arbete med Gábor Kun i ChatGPT. Kort efter OpenAI:s tillkännagivande om icke-sofiska grupper mejlade han OpenAI-forskarna Mark Sellke och Sébastien Bubeck och frågade om samtalen hade ingått i träningsdatan eller varit åtkomliga för resonemangsprocessen.
Thom återger Sellkes fullständiga svar så här: “Angående era samtal med ChatGPT: det hände inte.”
Därför kallar han svaret vilseledande
Thom säger att han hade ställt två olika frågor: om samtalen hamnade i träningsdatan och om systemet kunde komma åt dem medan det arbetade med problemet. Enligt hans läsning ser det korta nekandet nu ut att bara ha gällt den andra frågan. Han skriver att svaret inte kom med några förbehåll, förklaringar eller belägg.
Det som ändrade hans syn, säger han, var OpenAI:s formulering i ett annat fall. När företaget i veckan bemötte frågor från matematikerna Tristan Buckmaster och Levent Alpöge sade OpenAI att inga specifika användardata hade använts för att lösa problemet, men att det “inte kan utesluta” att avidentifierade data från deras användning av företagets produkter hjälpt till att förbättra modellerna, enligt ABC News. Det uttalandet gällde Buckmaster och Alpöge, inte Thom. Thom menar att det drar just den gräns mellan direkt åtkomst och träning som Sellkes svar till honom inte gjorde.
Thom skriver att han stängde av modellträning den 29 juni. Han beskriver inställningen som ett löfte som användare inte kan granska, och som inte säger något om tidigare samtal. Han uppger också att han sedan dess har hänvisats till ett nyare uttalande från OpenAI om att Buckmasters instruktioner i Codex inte kunde ha påverkat systemet, inte heller via träning.
Resultatet som striden gäller
Sofiska grupper är en klass av grupper som Mikhail Gromov introducerade 1999, och under de 27 år som följde lyckades ingen bevisa eller motbevisa att icke-sofiska grupper finns. I början av augusti sade OpenAI att en intern version av modellen Astra hade tagit fram den första explicita konstruktionen av en icke-sofisk grupp, ett av tio resultat som företaget presenterade, rapporterade The Next Web.
Thom skriver att beviset i avgörande grad byggde på hans artikel från 2019 med Kun, och att OpenAI:s ursprungliga tillkännagivande ändå talade om ett decennium utan framsteg. Efter hans invändning, säger han, ändrade OpenAI inramningen av tillkännagivandet.
Thom beskriver datafrågan som obesvarad, inte som fastställd. Hans argument är villkorat: om opublicerad forskning från användare förbättrade en modell som sedan användes för att hinna före samma användare till publicering, utan samtycke, öppenhet eller erkännande, skriver han, vore det etiskt oförsvarbart. OfficeChai och Notebookcheck rapporterade om anklagelsen den 10 september.
OpenAI:s hållning
Sellkes mejl är det enda svar från OpenAI som Thom redovisar. Notebookcheck rapporterade att OpenAI inte hade svarat offentligt, och Aivio News hittade vid publiceringen inget uttalande från företaget om Thoms redogörelse. För att ett nekande ska vara trovärdigt bör OpenAI enligt Thom redovisa vad det grundar sig på: relevanta produkt- och integritetsinställningar, datamängder och sparade modellversioner, samt vad företaget menar med avidentifierade data som härrör från användning.
Anklagelsen kommer efter en vecka av spänningar mellan OpenAI och forskande matematiker. Den 10 september meddelade OpenAI-forskaren Dan Roberts att företaget drar tillbaka sitt sponsorskap av Caltech Mathathon, en matematiktävling som ska starta den 30 oktober, sedan nuvarande och tidigare matematiker vid Caltech publicerat ett öppet brev mot evenemanget, rapporterade Gizmodo. Brevet hade 771 undertecknare vid publiceringen.
Att bevaka
Den öppna frågan är den som Thom ställde skriftligen till OpenAI: om samtal som hans, i någon avidentifierad form, nådde träningsdatan för den modell som tog fram resultatet om icke-sofiska grupper. OpenAI har inte sagt om företaget kommer att lämna den mer utförliga redovisning som Thom efterfrågar.
