En röstmodell byggd för agenter, inte demos
Amazon gjorde Nova 2.5 Sonic allmänt tillgänglig den 5 oktober, bolagets senaste tal-till-tal-modell för röstagenter i realtid. Den finns via Amazon Bedrock i US East (N. Virginia), US West (Oregon), Europa (Stockholm) och Asien-Stillahavsområdet (Tokyo), till samma pris som Nova 2 Sonic.
Funktionslistan läser sig som en lista över klagomål på röstagenter. Amazon nämner bättre resonemang, bättre instruktionsföljning och träffsäkerhet i verktygsanrop, lägre latens, styrbar turtagning och stöd för röst och text i samma session. Kontextfönstret är 256 000 tokens, och modellen talar sju språk med vad Amazon kallar uttrycksfulla röster.
Detaljen som betyder något är asynkrona verktygsanrop
Av allt i släppet är det asynkrona verktygsanropet det som ändrar vad en röstagent kan göra. En synkron röstagent som behöver slå upp något tystnar medan den gör det: den som ringer hör tystnad, eller en utfyllnadsfras, och illusionen av ett samtal spricker. Att anropa verktyget asynkront låter modellen fortsätta tala medan uppslaget körs.
Kontexten på 256K tjänar samma syfte. En röstagent som hanterar ett långt supportsamtal behöver hålla hela samtalet i sikte — vad den som ringde sade för åtta minuter sedan, vilket konto som verifierats, vad som redan prövats — i stället för att fråga om igen. Det är de två felläge som hållit röstagenter kvar i demos och borta från produktionsköerna.
Vad Amazon inte publicerat är latenssiffran. Beskedet säger lägre latens utan att säga lägre än vad, hur mycket lägre, eller hur det mätts. För en röstprodukt i realtid är det siffran som avgör om den är användbar, och frånvaron är påfallande.
Prissatt för att införas
Att hålla priset på Nova 2 Sonic-nivå är den kommersiella signalen. Amazon positionerar inte detta som en premiumnivå; bolaget gör den nyare modellen till standardvalet för alla som redan bygger på den gamla, vilket är hur en molnleverantör konverterar en installerad bas i stället för att sälja till en ny.
De fyra lanseringsregionerna är också värda att läsa. Stockholm och Tokyo vid sidan av två amerikanska regioner betyder att Amazon betjänar europeiska och japanska röstarbetslaster från inom de jurisdiktionerna — vilket spelar roll för en produkt som behandlar inspelat tal, de mest personliga data en företagsagent rutinmässigt rör vid.
Amazon anger sju språk som stöds utan att namnge dem i meddelandet. Det, och den saknade latenssiffran, är de två sakerna att be om innan man anförtror den ett kundtjänstcenter.
