Två kända resultat, sammanförda
Två saker om transformatorer är fastlagda var för sig. Teoretiskt arbete behandlar attention-huvuden som en form av associativt minne. Empiriskt arbete om beskärning visar att en stor andel huvuden kan tas bort med liten förlust i språkmodellering.
En artikel upplagd på arXiv den 29 oktober av Aryan Chowdhury och Riza Batista-Navarro för ihop de två och ställer den uppenbara frågan: om huvuden lagrar associationer, och de flesta huvuden är överflödiga, tar det bort lagrad träningstext att ta bort de överflödiga?
Siffrorna
Försöket körs på GPT-2-XL, en modell med 1,5 miljarder parametrar, utvärderad på sekvenser som är kända för att vara memorerade. Författarna nollar 729 attention-huvuden som identifierats som överflödiga för uppgiften, vid inferens, innan modellen genererar något.
Antalet memoreringar föll med 91,5 procent.
Den andra siffran är det som hindrar detta från att vara ett trivialt resultat. Perplexiteten på WikiText-103 försämrades inte — den förbättrades med 0,92. Att dämpa nio tiondelar av den ordagranna utdatan kostade inget mätbart i språkmodelleringskvalitet på samma test som användes för att hitta de överflödiga huvudena.
Den sista bisatsen är det förbehåll författarna är tydliga med: huvudena valdes som överflödiga på ett test, och kvaliteten mättes sedan på samma test. Ett huvud som är överflödigt för WikiText-103 är inte nödvändigtvis överflödigt för kod, för översättning eller för hämtning i långt sammanhang.
Varför det betyder något utanför arkitekturen
Den praktiska lockelsen är att det är billigt. Ingen omträning, ingen filtrering av datamängder, ingen procedur för maskinell avlärning och ingen ändring av de vikter som återstår — bara en mask lagd vid inferens. Varje annat angrepp på memoreringsproblemet är dyrt: att träna om en modell så att den glömmer något kostar vad träningen kostade, och att kuratera ett korpus måste ske innan modellen finns.
Det spelar roll eftersom memorering i dag är en rättslig exponering, inte bara en forskningskuriositet. Rättsprocesser om modellers utdata har gång på gång handlat om huruvida ett system återger träningstext ordagrant. En teknik som dämpar merparten av det beteendet vid leverans, utan att röra modellens allmänna kvalitet, vore värd mycket för en svarande part — vilket också är ett skäl att vilja se den prövad av någon utan intresse i svaret.
Begränsningarna är stora
Detta är en artikel på sju sidor med fem tabeller, en figur och en modell. GPT-2-XL är sju år gammal och tre tiopotenser mindre än dagens spetssystem, och inget här visar att effekten överlever i stor skala, eller på en modell som tränats med modern deduplicering redan tillämpad. Memoreringsmåttet är en räkning på kända memorerade sekvenser, inte en motspelares extraktionsattack.
Det prov som skulle avgöra saken är enkelt och någon kommer att köra det: samma huvudbeskärning på en modell med öppna vikter från i år, med extraktion försökt i stället för räknad, och kvaliteten mätt på andra test än det som användes för att välja huvudena.
