Ett test som körs mot riktiga servrar
Forskare vid Pekinguniversitetets Zhongguancun-akademi, Meituan och Hongkongs universitet för vetenskap och teknik har publicerat MCPHallu, ett test för de fel som får en verktygsanvändande agent att rapportera något som inte hände. Det lades upp på arXiv den 5 november.
Designvalet som betyder något är att verktygen är riktiga. De 358 uppgifterna körs mot 36 skarpa servrar för Model Context Protocol i isolerade containrar, inte mot påhittade svar. Varje uppgift är byggd kring en strukturell utlösare för en av fyra feltyper: att låsa sig vid en gren av planen för tidigt, att jaga ett mål som de tillgängliga verktygen inte kan nå, att använda ett verktyg på ett sätt det inte var tänkt för, och att tappa tidigare sammanhang.
Poängen
Fjorton agenter från åtta leverantörer kördes över 5 012 körningar och poängsattes från 0 till 1, där högre är bättre. Snittet för alla är 0,642.
Claude Opus 4.6 leder med 0,728, följd av Claude Sonnet 4.5 på 0,710, Claude Sonnet 4.6 på 0,702 och Claude Opus 4.5 på 0,696. ByteDances Doubao-Seed-1.8 kommer därnäst på 0,692, sedan GPT-5-chat på 0,659 och DeepSeek-V3.1 på 0,655. Sist ligger Gemini 3 Flash på 0,583 och GLM-5.1 på 0,539.
En feltyp gör skadan
Den samlade kolumnen döljer det resultat som är värt att rapportera. Genomsnittat över de 14 agenterna är felaktig verktygsanvändning den lättaste undertypen och onåbart mål den svåraste — det är den sämsta undertypen för 12 av de 14 modellerna.
Gapet är brett. På felaktig verktygsanvändning får Claude Opus 4.6 0,885 och till och med GLM-5.1 klarar 0,688. På onåbart mål är tabellens bästa notering Claude Sonnet 4.6:s 0,585, DeepSeek-V4 faller till 0,302 och Gemini 3 Flash till 0,284. Över hela uppsättningen klarade agenterna 23,2 procent av körningarna med onåbart mål, vilket ger undertypssnittet 0,458.
Med andra ord är de här agenterna betydligt bättre på att använda ett verktyg rätt än på att säga att de verktyg de har inte kan göra det som efterfrågas. Artikeln rapporterar också en genomsnittlig placeringsförskjutning på 6,9 av 13 platser mellan undertyper, och en korrelation på −0,12 mellan poängen för grenkollaps och onåbart mål — att vara bra på den ena säger nästan ingenting om den andra.
Vad det inte avgör
Testet körs av sina egna författare, och uppställningen ligger en generation efter på sina håll: OpenAI företräds av GPT-5-chat och GPT-4o, Anthropic av Claude 4.5 och 4.6 snarare än sina aktuella släpp. En omkörning på dagens modeller skulle ge en annan tabell.
Det strukturella fyndet håller längre än rangordningen. Om en samlad poäng flyttar en agent 6,9 platser beroende på vilket fel man mäter, är en enda siffra fel sätt att välja agent — och siffran som betyder något i drift är oftast den för det fel driften inte tål.
