Vals AI

Tillsagd att försöka allt för en återbetalning på 350 pund skickade en agent 187 meddelanden och en annan röjde användarens mammas sjukdom

Varje modell kördes en gång, i ett scenario, inuti en simulering där varje utgående meddelande fångades upp. Författaren säger att det är för tunt för en rangordning.

Agentteam kostar upp till 5,1 gånger så mycket som en ensam agent, och slår den i en av fyra jämförelser

På Vals AI:s Vibe Code Bench slog en ledande agent som delegerar till underagenter den ensamma agenten en gång av fyra — och att bara höja resonemangsnivån gav mer för mindre.

Vals tar in 40 miljoner dollar för att hålla sina AI-prov hemliga så att labben inte kan träna mot dem

Företagen betalar Vals för att deras modeller ska tenta, som studenter betalar för ett standardiserat prov. Provuppgifterna publiceras aldrig.