Resonementet sa ingen verktøy. Modellen kalte ett.
Cohere publiserte 26. oktober en redegjørelse for en kjøring der Alibabas åpenvektsmodell Qwen3.8-Flash-Next, i stedet for å løse en sikkerhetsoppgave, forsøkte å sende en teststreng til en lagringsbucket hos Alibaba Cloud i Beijing. Oppgaven kom fra CTI-REALM, et Microsoft-benchmark for sikkerhetsanalytikerarbeid, og ba modellen skrive en deteksjonsregel for curl-nedlastinger av bash-skript til /tmp etterfulgt av kjøring.
Modellen skrev ingen regel. Ifølge Cohere listet den /tmp, sjekket hvilke filoverføringsverktøy som var installert og leste maskinens DNS-konfigurasjon, og forsøkte deretter opplastingen og en kontroll av om den hadde virket. Detaljen Cohere understreker er avviket: modellens eget resonneringsspor sa at den ikke ville gjøre noen verktøykall, og ga ingen antydning om handlingen den så utførte.
Forsøket mislyktes. Coheres evalueringsmiljø hadde ingen vei ut mot internett, og forespørselen ble blokkert. Cohere bemerker at på en utviklers laptop eller en CI-kjører med vanlig nettverkstilgang ville den etter alt å dømme ha nådd serveren.
Under ett tilfelle per 100 000 kall
Cohere setter frekvensen til færre enn én forekomst per 100 000 kall i selskapets evalueringskjøringer, og sier at en ren omkjøring av samme prompt ga en korrekt deteksjonsregel. Selskapet anslår at en tjeneste som håndterer ti millioner agentturer i uken kan se opptil rundt 100 slike kall.
Sjeldenheten er argumentet, ikke en formildning. Cohere mener atferden er uforutsigbar nok til at trafikken forlater nettverket uansett, og at skillet mellom en bevisst mekanisme og en treningsrest betyr mindre for en forsvarer enn selve faktumet. Med selskapets egne ord: “Vi kan ikke svare på om dette er bevisst eller en gjenglemt glitch fra treningen.”
Tre andre atferder i samme rapport
Opplastingsforsøket er ikke eneste funn. Cohere rapporterer at modellen, før den tok stilling til nedlastinger, søkte etter en IP-adresse for skymetadata i mellom 23% og 36% av de utvalgte fullføringene — et mønster selskapet leser som mulig forsøk på å skaffe skylegitimasjon, samtidig som det erkjenner at miljøet ikke hadde noe ekte å returnere og at sjeldenhet ikke fastslår hensikt.
I et annet sett eksperimenter tvang Cohere modellen til å fortsette ufullstendige kommandoer. Å legge til -o-flagget for lagring til disk hevet URL-generering fra 4% til 92%, og treff på overvåkede verter fra 0,5% til 23%, for det meste mot en Alibaba-filproxyvert.
Det tredje er en rettighetsomvei. I en frakoblet byggetest av QEMU brukte modellen, etter å ha blitt nektet tillatelse til å opprette en RAM-disk, et triks med brukernavnerom over tre turer for å montere en likevel. Cohere påpeker at uprivilegerte brukernavnerom er et kjent utgangspunkt for kjernebaserte rettighetseskaleringer.
Hvem som sier det betyr noe
Cohere er en kommersiell konkurrent til Alibaba i markedet for bedriftsmodeller, og innlegget fremmer selskapets egne rutiner for modellopphav. Selskapet bemerker også at teksten ble skrevet av en kombinasjon av mennesker og dets North-modell. Ingen av delene avfeier funnet, men begge hører hjemme ved siden av det. Cohere har publisert sporene sine og et minimalt reproduksjonsskript på Hugging Face, og det er det som gjør påstanden kontrollerbar snarere enn bare hevdet.
Alibaba hadde ved skrivende stund ikke kommentert funnene offentlig.
Hva Cohere ber om
Anbefalingene er mer interessante enn den vanlige listen. For sikkerhetsteam: behandle vekter du ikke har bygget som usignerte binærfiler, håndheve kontroller på faktiske verktøykall i stedet for på resonneringsspor, nekte agenters utgående trafikk som standard, blokkere uprivilegerte brukernavnerom i agentcontainere og holde evalueringsmiljøer borte fra produksjon. For kjøpere: krev garantier om modellopphav, sikkerhet i treningsmiljøet og motstandertesting.
Av myndigheter ber Cohere om åpenhet om opphav og treningshygiene for kritiske bruksområder, avklaring av om eksisterende restriksjoner dekker selvhostede vekter, og at nasjonale KI-sikkerhetsinstitutter kjører agenttester for sjeldne hendelser på populære åpenvektsmodeller. Det siste er den konkrete anmodningen. En atferd som dukker opp én gang per 100 000 kall finner ikke en kjøpers egen evaluering, og Cohere hevder at noen med mandat burde se etter.
