Varför det vanliga experimentet bevisar lite
Om en modell tränats på ett visst dokument är frågan som ligger under flera tvister samtidigt: upphovsrättsliga anspråk, integritetsklagomål och om ett testresultat betyder något. Medlemskapsinferens är tekniken som används för att svara, och en artikel som lades upp på arXiv den 30 oktober hävdar att de flesta utvärderingar av den inte är bevis åt något håll.
Felet ligger i hur testmängderna sätts samman. Forskare samlar vanligen in medlemmar och icke-medlemmar efter att träningen skett, vilket betyder att de två grupperna kan skilja sig i ämne, stil eller tid utöver i medlemskap. En metod som ser ut att lyckas kan upptäcka just den skillnaden, och en metod som misslyckas har inte visats vara värdelös — den kan helt enkelt ha fått en omöjlig parning.
En omkörning med slantsingling
Författarna undanröjde den tvetydigheten genom att bygga om själva träningskörningen. De körde om det officiella mellanträningssteget på 50 miljarder tokens för OLMo 2 1B och ersatte utvalda träningsblock med dokument hämtade från 7 814 par matchade på domän och svårighetsgrad. För varje par avgjorde en slantsingling vilket dokument som gick in i träningen och vilket som hölls utanför.
Kontrafaktiskheten är det som får detta att fungera. Den körning som Allen Institute for AI släppt från samma frö såg identiska data i allt annat, och fungerar därför som en referensmodell som skiljer sig från experimentkörningen enbart i de insatta dokumenten.
En exponering räcker inte
Huvudresultatet är negativt och precist formulerat. En enda exponering höjer i genomsnitt sannolikheten för ett tidigare osett dokument — men identifierar det sällan.
Med kontrafaktiskheten som referens når referenskvotmetoden en area under ROC-kurvan på 0,767, vilket låter respektabelt. Använd som praktiskt test, med ett enda tröskelvärde över domänerna, fångar den 3,8 procent av medlemmarna vid 1 procent falsklarm. Det är siffran som betyder något för den som vill hävda något om ett bestämt dokument, och den är nära nog oanvändbar.
Tretton dokument räcker
Samma data bär ett betydligt starkare påstående på samlingsnivå. Med 13 matchade par når ett parat statistiskt test 80 procents styrka på 5-procentsnivån för att upptäcka att en samling ingått i träningen.
Villkoren anges: icke-medlemmar från samma domän och en närliggande referensmodell. Båda är verkliga begränsningar — en utomstående som granskar en kommersiell modell har varken en kontrafaktisk körning eller, vanligtvis, matchade icke-medlemmar.
Vad detta betyder för tvisterna det rör
Resultatet skär åt två håll och gynnar ingen sida rent. En rättighetshavare som frågar om just deras bok fanns i en träningsmängd ställer den fråga bevisningen inte kan besvara utifrån en exponering. En rättighetshavare som frågar om deras katalog fanns där ställer en fråga som tretton dokument kan avgöra, om jämförelsen byggs rätt.
För testkontaminering är innebörden densamma: detektion på enskild uppgiftsnivå är svag, detektion på samlingsnivå är det inte.
Vad man ska följa
Experimentet var möjligt eftersom OLMo 2 är en öppen modell med publicerat träningsrecept, släppta frön och reproducerbara steg. Inget frontlabb erbjuder det, så metoden kan inte riktas mot de modeller de juridiska argumenten faktiskt handlar om. Håll utkik efter om någon bygger en approximation av en kontrafaktisk referens för en sluten modell — och efter om resultatet med tretton par dyker upp i en rättslig inlaga.
