En attack där säljaren är angriparen
Nästan alla kommersiella språkmodeller säljs per token, och nästan alla kunder litar på leverantörens uppgift om hur många tokens som producerades. En artikel som lämnades in till arXiv den 17 september frågar vad som händer om leverantören i tysthet får modellen att säga mer.
Författarna — Leilei Chen, Lan Zhang, Chen Tang, Pengcheng Sun, Jiewei Lai, Yixiao Huang, Zhaopeng Zhang och Xinpeng Shen — kallar det en tokeninflationsattack från leverantörssidan, PTIA, och beskriver fem varianter. Var och en förlänger svaret utan att försämra det tillräckligt för att användaren ska märka något.
Hur långt det går, och var det stannar
Artikeln rapporterar att varje attack drev den genomsnittliga svarslängden till mer än 10,2 gånger den rena baslinjen. Det är rubriksiffran, och skälet till att frågan är kommersiellt viktig: en tiodubbling av utdatatokens är en tiodubbling av den del av fakturan som är svårast för en kund att kontrollera.
Det mer användbara fyndet är att attackerna mättas. Den första förlängningen är dramatisk, men att pressa hårdare ger avtagande avkastning, eftersom modellens stoppbeteende gör sig påmint igen. Den regelbundenheten är vad författarna gör om till en detektor.
En granskning utan jämförelsepunkt
Det svåra med att upptäcka detta är att kunden saknar ren referens. Hen kan inte köra samma modell lokalt och har inget arkiv av kända ärliga svar från tiden före attacken.
Författarnas granskning behöver ingetdera. De rapporterar en genomsnittlig upptäcktsgrad på 85,1 procent med falsklarm under 2 procent i de scenarier de testar. Det är artikelns egna siffror, från dess egen utvärdering, och de har inte reproducerats oberoende.
Sju av femton
Författarna körde sedan granskningen mot 15 verkliga API-tjänster för språkmodeller. Den flaggade sju av dem för beteende som är förenligt med tokeninflation.
Formuleringen spelar roll. Beteende som är förenligt med en attack är inte detsamma som en attack. Omständliga systeminstruktioner, ett resonemangsläge som standard, en modell finjusterad att fylla ut, eller en avkodningsinställning som helt enkelt gynnar längd skulle alla ge utdata som granskningen kan läsa likadant. Artikeln är inget bevis för att sju namngivna leverantörer överdebiterat någon, och den utger sig inte för att vara det.
Vad den däremot visar är att beteendet över huvud taget går att upptäcka utifrån, och att något dyker upp i en samling verkliga tjänster.
Vad som avgör fortsättningen
Den praktiska följden är en styrningsfråga. Företagsavtal om modellinferens skrivs på förbrukning som leverantören själv mäter, utan oberoende mätare. Artikeln är ett argument för att en sådan mätare går att bygga. Om inköpsavdelningar börjar begära en, och om någon leverantör frivilligt erbjuder en verifierbar tokenräkning, är nästa sak att följa.
