Pequeño, multimodal y con licencia permisiva

Google publicó EmbeddingGemma 2 el 6 de octubre, un modelo abierto de incrustaciones que lleva texto, código, imágenes, vídeo y audio a un único espacio vectorial compartido. El modelo multimodal completo tiene 740 millones de parámetros. La licencia es Apache 2.0, lo que permite uso comercial sin negociación.

El diseño es modular y no monolítico. Las cargas de solo texto pueden ejecutar una configuración de 270 millones de parámetros. Cuantizado, Google sitúa la memoria activa en unos 191 MB para solo texto y alrededor de 567 MB para el modelo multimodal completo: lo bastante pequeño para caber en un teléfono en lugar de detrás de una llamada a una API.

Un patrón abstracto de puntos de colores sobre fondo oscuro
EmbeddingGemma 2 lleva texto, código, imágenes, vídeo y audio a un único espacio vectorial. Ilustración. Nadezhda Moryak · pexels · Pexels License

Qué dicen las cifras, y quién las midió

El benchmark destacado que publicó Google es MTEB Code, donde declara 78,68, una mejora de 9,92 puntos sobre el primer EmbeddingGemma. Google también dice que el modelo logra las mejores puntuaciones entre los incrustadores multimodales por debajo de mil millones de parámetros en MTEB y MAEB, y que iguala o supera a modelos mayores en tareas de texto, visión y audio.

Son cifras declaradas por Google sobre benchmarks públicos. La propiedad útil de los pesos abiertos es que se pueden comprobar: cualquiera puede descargar el modelo y volver a ejecutar MTEB, cosa que no ocurre con las cifras de frontera publicadas esa misma semana.

El almacenamiento es el otro eje práctico. Los vectores se truncan a 768, 512, 256 o 128 dimensiones, lo que según Google permite una reducción de hasta seis veces en almacenamiento. Para un índice de recuperación en un dispositivo, esa es la diferencia entre caber y no caber.

Un teléfono móvil sobre un escritorio junto a un portátil
Un incrustador en el dispositivo permite a un teléfono indexar sus archivos sin enviarlos a un servidor. Ilustración. Hasan Albari · pexels · Pexels License

Por qué un lanzamiento de incrustaciones importa más de lo que parece

Las incrustaciones son la capa poco glamurosa que sostiene la recuperación, la recomendación, la deduplicación y la búsqueda semántica. Un único modelo que pone una foto, una nota de voz, un vídeo y un párrafo en el mismo espacio permite a un dispositivo buscar en todos ellos con un solo índice en lugar de cuatro.

Hacerlo localmente es el objetivo. Un incrustador en el dispositivo significa que un teléfono puede construir y consultar un índice semántico sobre los archivos del usuario sin enviar ninguno a un servidor: la arquitectura hacia la que empujan los reguladores de privacidad y que las normas de transparencia de la UE abaratan defender.

Google dice que el modelo está disponible en Hugging Face y Kaggle, con compilaciones optimizadas en LiteRT Community, y que llegará al Model Garden de la plataforma de agentes Gemini Enterprise. Lo que hay que vigilar es si ejecuciones independientes de MTEB y MAEB reproducen la afirmación de liderazgo por debajo de mil millones de parámetros cuando la comunidad lleve unas semanas con los pesos.