Mismo modelo, mismos datos, vocabulario distinto
Una publicación en Hugging Face describe VocabX, un método para rehacer el vocabulario del tokenizador de un modelo de lenguaje pequeño en torno a un dominio, sin tocar el modelo base, los datos de entrenamiento ni la receta.
El experimento es limpio de un modo en que estas afirmaciones rara vez lo son. Se entrenaron siete versiones del mismo corrector en producción con el mismo modelo base, los mismos datos, la misma receta y la misma semilla aleatoria. Solo cambiaba el tokenizador. Las siete ejecutaron después las mismas 500 peticiones en una RTX 5090 bajo vLLM, y el coste salió del tiempo de ejecución medido, no de una estimación.
La longitud media de respuesta cayó de 350 tokens a 101. El coste bajó un 77,0%. La puntuación de banco —precisión de corrección más precisión de cribado— subió de 0,703 a 0,810.
Elegir tokens por coste, no por frecuencia
La idea central del método es que el criterio habitual está mal. Los vocabularios de tokenizador se construyen según la frecuencia con que aparece una cadena. VocabX pondera cada candidato por dónde aparece: un token ahorrado en la respuesta del modelo vale mucho más que uno ahorrado en el prompt, porque la generación es secuencial y la lectura no. En el sistema medido, un token ahorrado en la respuesta valía 7,4 veces uno ahorrado en la entrada.
Funciona en dos niveles bajo ese único criterio: piezas subléxicas corrientes y macrotokens de varias palabras para tramos repetidos, como el envoltorio JSON que el modelo emite en cada petición. Cinco mineros automáticos buscan tramos repetidos, cada uno especializado en un tipo de repetición, y los candidatos que el muestreo nunca vio reciben una estimación estadística de su valor en lugar de un cero. En el corrector, la capa de salida se redujo de unas 152.000 filas a unas 65.000.
Un resultado dentro del experimento merece mención propia. Una versión anterior y más compacta fundía cada nota en su macrotoken, recortando el coste un 73,3% pero puntuando 0,689, por debajo de la línea base en producción. Dar a la nota su propio token aparte añadió dos tokens por respuesta y salió a la vez mejor y más barato. Comprimir más allá de cierto punto cuesta precisión.
Qué no cubre ese 77%
Los autores son explícitos con los límites, y los límites importan. El 77% viene de un único corrector en producción, en un idioma, con un formato de respuesta y sobre una pieza de hardware. La proporción de 7,4 entre coste de generación y de lectura varía con el hardware, el tamaño de lote y la longitud de contexto. La puntuación de banco es una métrica de los propios autores. El artículo sigue en revisión y las cifras pueden cambiar antes de publicarse.
Las cifras entre dominios son estimaciones
La comparación amplia cubre cinco dominios públicos —contratos, artículos médicos, artículos científicos, noticias y código Python— en Qwen3, Llama-3.1 y Gemma-3, frente a transferencia rápida de vocabulario, tokenización multipalabra y BPE in situ. VocabX comprimió más que el mejor método de referencia en las 15 combinaciones de dominio y modelo, entre 1,2 y 9,3 puntos, y lideró en coste estimado de inferencia en las 15.
Esa segunda cifra es la que conviene sostener con flojedad: esos costes son estimaciones, no mediciones. En contratos, el resultado medido de compresión fue un 62,6% de reducción de tokens con 113.426 entradas de vocabulario, frente al 61,8% con 207.803 entradas del mejor BPE in situ: un vocabulario más pequeño haciendo algo más de trabajo.
Los autores son Bernardo França de Aguiar, Gabriel Pimenta de Freitas Cardoso, Bruno Duarte y Francisco de Almeida Rocha Alves, por Dharma-AI. El método completo y los experimentos que descartaron se prometen en el artículo que viene, que es donde habrá que volver a mirar.
