ElevenLabs publicó el lunes Eleven v4 y una variante de baja latencia, Eleven v4 Turbo. El anuncio, firmado por Mati Staniszewski y Piotr Dabkowski, describe una arquitectura enteramente nueva dirigida a un problema: una frase suena distinta según quién la diga y por qué, y los modelos de texto a voz históricamente han leído más que interpretado.
El mecanismo es la dirección escénica. El usuario describe en lenguaje natural cómo debe decirse una frase y puede colocar etiquetas dentro del texto; los ejemplos de la empresa incluyen [laughs], [said angrily in French accent], [light rain] y [phone buzzing]. ElevenLabs dice que v4 sigue esas etiquetas e indicaciones con más exactitud que sus modelos anteriores, y que ha mejorado el soporte de fonemas del Alfabeto Fonético Internacional, de modo que las pronunciaciones personalizadas se comportan de forma más fiable.
Coherencia en una escena entera
La segunda afirmación tiene que ver con la identidad. Un nuevo método para capturar la identidad de quien habla busca mantener una voz coherente a lo largo de conversaciones de agentes, audiolibros y anuncios, en lugar de derivar entre generaciones. Como el modelo lee el contexto de una escena completa, ElevenLabs sostiene que el diálogo entre varias voces responde a lo que se acaba de decir, en vez de estar cosido a partir de frases aisladas.
Ambos modelos admiten más de 90 idiomas, y la empresa afirma que una voz grabada en un idioma habla ahora los demás con acento de hablante nativo manteniendo la identidad original, y que la adherencia al acento es mayor, de modo que la voz ya no deriva hacia su acento de origen a lo largo de una generación larga.
La variante Turbo es la comercial
Eleven v4 Turbo lleva la misma arquitectura al uso en tiempo real. ElevenLabs le atribuye un tiempo mediano hasta la primera palabra de unos 150 milisegundos y dice que se optimizó junto con ElevenAgents, su plataforma de agentes conversacionales, como un solo sistema y no como un ensamblaje de piezas de distintos proveedores.
Ese es el argumento competitivo más que el técnico. Quienes construyen agentes de voz han tenido que elegir entre un modelo rápido y uno expresivo; 150 milisegundos hasta el primer sonido, con acotaciones incluidas, apunta directamente a la atención al cliente y al diálogo de videojuegos, los dos mercados donde hacen falta ambas cosas a la vez.
Las cifras son de la propia empresa
ElevenLabs dice que v4 fue preferido por cerca del 75% de los oyentes en pruebas ciegas frente a modelos competidores, y cita un primer puesto en Artificial Analysis. Ambas cifras aparecen en el anuncio de la compañía, las pruebas de escucha las realizó ElevenLabs y no se ha publicado el protocolo. Son afirmaciones del fabricante hasta que alguien más las reproduzca.
Ambos modelos están ya disponibles en ElevenAgents, ElevenCreative y la API de ElevenLabs. La empresa figura además en la lista de socios del nuevo Marketplace empresarial de OpenAI, anunciado en el DevDay del día siguiente.
Qué vigilar
La cifra interesante no es la prueba de preferencia, sino la latencia bajo carga. Un tiempo mediano hasta la primera palabra se mide en algún sitio, y los agentes de voz fallan en la cola de la distribución, no en la mediana. Lo otro que conviene vigilar es qué hacen las etiquetas con la seguridad: un modelo que ejecuta con fiabilidad una instrucción como “dicho con enfado y acento francés” es una herramienta de suplantación mejor que uno que no lo hace.
