Google lanza Gemma 3n, la IA que se ejecuta en tu Android de gama baja

Google anunció una actualización de su familia de modelos de IA de código abierto, Gemma. La nueva versión, conocida como Gemma 3n, está diseñada para ejecutarse en dispositivos móviles y no necesita conexión a internet. Los ingenieros de Google la han optimizado a tal grado que solo requiere un dispositivo con 2 GB de RAM.

De acuerdo con una publicación en el blog de desarrolladores, Gemma 3n es una evolución de los modelos abiertos de Google. La nueva versión, basada en Gemini, ya cuenta con capacidad multimodal, lo que significa que puede procesar imágenes, audio y video de forma nativa. Gemma 3n también llega con mejoras en apartados como programación y razonamiento, dos características que la colocan al nivel de otros modelos grandes.

En términos de especificaciones, los ingenieros de Google han realizado muchos cambios enfocados a mejorar el rendimiento en dispositivos móviles. El ajuste más evidente es el cambio a MatFormer, una arquitectura de transformador anidado inspirada en las matryoshkas que permite a un modelo más grande contener versiones más pequeñas de sí mismo. Esta tecnología le permite ejecutar cada una de acuerdo a la tarea, optimizando los recursos.

Gemma 3n también debuta un sistema de incrustaciones por capa con el que puede cargar los pesos esenciales en la VRAM y el resto en el CPU. A diferencia de Gemma 3, que cargaba todos los parámetros en la VRAM, la nueva versión los administra de tal modo que reduce el consumo de memoria drásticamente.

Gemma 3n puede funcionar en un Android de gama baja sin internet

Google afirma que Gemma 3n está pensado desde cero para funcionar en móviles o dispositivos con recursos limitados. La familia incluye los modelos: E2B, con 5.000 millones de parámetros efectivos, y E4B, con 8.000 millones de parámetros. El primero requiere un mínimo de 2 GB de RAM, mientras que el segundo se ejecuta en terminales con 3 GB de RAM.

Otras mejoras incluyen KV Cache Sharing, que mejora los tiempos de respuesta en tareas de contexto largo, como audio o video. De acuerdo con las pruebas, Gemma 3n es dos veces más rápido en velocidad de preprocesamiento frente a Gemma 3. Google presume que es el primer modelo con menos de 10.000 millones de parámetros en superar los 1300 puntos en el benchmark de LMArena.

Todo lo anterior suena muy bien en papel, pero ¿qué significa para el usuario? De entrada, el beneficio principal de Gemma sobre Gemini es que no necesita conectarse a internet para poder funcionar. La IA es capaz de procesar texto, audio, imágenes y video en tiempo real y puede transcribir voz a texto. Los modelos son compatibles con 140 idiomas para texto y 35 para entradas multimodales, entre los que se incluye el español.

Los usuarios pueden descargar Gemma 3n a través de AI Edge Gallery, una app para Android que permite ejecutar modelos de IA directamente en el móvil. Desde ahí puedes probar tareas como análisis de imágenes, generación de texto o transcripción de voz. También puedes acceder a los ejemplos de Google AI Studio o Hugging Face a través del navegador.