En punktuppdatering för en modell

IBM publicerade Granite Switch 4.1.1 den 29 oktober, och det nyhetsvärda är inramningen: företaget presenterar den som en patchversion i vanlig programvarumening — fullt bakåtkompatibel med 4.1, ingen migrering, stegvisa förbättringar under ytan. Inläggets rubrik säger det rakt ut: uppdatera modeller som du uppdaterar programvara.

Två saker ändrades. En ny taligenkänningsmodell, granite-speech-5.0-470m-turboctc på 0,5 miljarder parametrar, ersätter den tidigare. Och beslutsadaptern i granitelib-core uppdaterades. Basmodellen på 30 miljarder parametrar tränades inte om, och IBM säger att inget annat räknades om. Det är det som gör versionsnumret försvarbart: en patch som rör två komponenter och lämnar de vikter alla är beroende av i fred.

Bibliotekshyllor med staplade pärmar och tidskrifter
Blogginlägget och modellkortet anger olika antal språk för samma släpp. Arkivbild. Robert So · pexels · Pexels License

Påståendet utan siffra

IBM säger att den uppdaterade beslutsadaptern har “förbättrad övergripande prestanda på testmängden Jev Decision Index”. Inlägget ger ingen siffra — inget före, inget efter, ingen skillnad. För ett släpp vars hela argument är att modelluppdateringar bör bete sig som programuppdateringar är det fel sak att utelämna. En beroendeuppdatering som säger sig vara bättre utan att säga hur mycket är precis vad noggranna team vägrar att installera.

Talmodellen får samma behandling. Inlägget säger att den stöder 10 språk med inbyggd interpunktion och versalisering, och redovisar ingen ordfelfrekvens och ingen jämförelse med modellen den ersätter.

Tio språk, eller sju

Blogginlägget och modellkortet säger emot varandra. Inlägget anger 10 talspråk. Revisionstabellen på modellkortet för granite-switch-4.1-30b, där 4.1.1 står som senaste släpp på main, anger talkolumnen till “7 languages”. Samma tabell anger 4.1:s talkolumn som “English”, så steget är verkligt oavsett, men dess storlek beror på vilken IBM-sida man läser. Båda gällde samma dag.

Modellkortet anger dessutom en licens, Apache 2.0, som blogginlägget inte nämner alls.

En grafiker som vrider hjulet på en koppartryckspress i en ateljé
IBM säger att ett adapter-SDK ska låta tredje part versionera och leverera egna adaptrar. Arkivbild. Anna Shvets · pexels · Pexels License

Varför versionsidén ändå är värd att ta på allvar

Förslaget i grunden är rimligt och ovanligt. Modellsläpp kommer normalt som helt nya artefakter med nya namn, nytt beteende och inget kompatibilitetslöfte, vilket tvingar varje team längre ned i kedjan till en ny utvärdering. Semantisk versionering med en stabil bas och utbytbara adaptrar skulle låta ett team ta in en talförbättring utan att testa om allt som rör språkmodellen.

IBM säger att man arbetar på handledningar och ett adapter-SDK så att utvecklare och tredjepartsleverantörer kan versionera och leverera egna adaptrar, utan annat datum än “mer snart”. Det är den delen som skulle göra idén till mer än en namnkonvention.

Vad som är värt att följa

Tre saker skulle avgöra om det här är versionering eller varumärkesarbete. Publicerade siffror för påståendet om beslutsadaptern. En enda auktoritativ uppgift om hur många språk talmodellen klarar. Och adapter-SDK:n, som är den enda delen av tillkännagivandet som skulle låta någon utanför IBM pröva om en modell verkligen går att patcha som ett beroende.