ElevenLabs släppte på måndagen Eleven v4 och en variant med låg latens, Eleven v4 Turbo. Tillkännagivandet, av Mati Staniszewski och Piotr Dabkowski, beskriver en helt ny arkitektur riktad mot ett problem: en textrad låter olika beroende på vem som säger den och varför, och text-till-tal-modeller har historiskt läst snarare än gestaltat.
Mekanismen är regi. Användaren beskriver på vanligt språk hur en rad ska sägas och kan placera taggar i texten — bolagets exempel omfattar [laughs], [said angrily in French accent], [light rain] och [phone buzzing]. ElevenLabs säger att v4 följer dessa taggar och regianvisningar mer exakt än de tidigare modellerna, och att stödet för fonem enligt det internationella fonetiska alfabetet förbättrats så att egna uttal uppför sig mer tillförlitligt.
Konsekvens genom en hel scen
Det andra påståendet gäller identiteten. En ny metod för att fånga talarens identitet ska hålla en röst konsekvent genom agentsamtal, ljudböcker och reklam i stället för att glida mellan genereringar. Eftersom modellen läser hela scenens sammanhang säger ElevenLabs att dialog mellan flera röster svarar på det som just sagts i stället för att sys ihop av isolerade repliker.
Båda modellerna stöder fler än 90 språk, och bolaget hävdar att en röst inspelad på ett språk nu talar de övriga med en infödd talares brytning samtidigt som den ursprungliga identiteten behålls — och att följsamheten mot brytningen är starkare, så att rösten inte längre glider tillbaka mot sitt ursprungsuttal under en lång generering.
Turbo-varianten är den kommersiella
Eleven v4 Turbo tar samma arkitektur till realtidsbruk. ElevenLabs uppger en mediantid till första talljud på omkring 150 millisekunder och säger att den optimerats tillsammans med ElevenAgents, bolagets plattform för samtalsagenter, som ett enda system snarare än hopsatt av olika leverantörers delar.
Det är det konkurrensmässiga argumentet snarare än det tekniska. De som bygger röstagenter har fått välja mellan en snabb modell och en uttrycksfull; 150 millisekunder till första ljudet, med regianvisningar påkopplade, siktar rakt mot kundtjänst och speldialog, de två marknader där båda egenskaperna behövs samtidigt.
Siffrorna är bolagets egna
ElevenLabs säger att v4 föredrogs av ungefär 75 procent av lyssnarna i blindtester mot konkurrerande modeller, och hänvisar till en förstaplats hos Artificial Analysis. Båda siffrorna står i bolagets eget tillkännagivande, lyssningstesterna utfördes av ElevenLabs och protokollet bakom dem har inte publicerats. De är leverantörspåståenden tills någon annan återskapar dem.
Båda modellerna finns tillgängliga nu via ElevenAgents, ElevenCreative och ElevenLabs API. Bolaget återfinns dessutom på partnerlistan till OpenAI:s nya företagsmarknadsplats, som presenterades på DevDay dagen efter.
Att följa
Den intressanta siffran är inte preferenstestet utan latensen under belastning. En mediantid till första talljud mäts någonstans, och röstagenter fallerar i svansen, inte i medianen. Det andra att följa är vad taggarna gör med säkerheten: en modell som tillförlitligt utför en instruktion som “sagt ilsket med fransk brytning” är ett bättre verktyg för att härma någon än en som inte gör det.
