¿Puedo ejecutar Gemma 3n E4B?

Gemma 3n E4B es el modelo multimodal pequeño de Google, pensado para chat y visión, y apunta de lleno a quien busca un asistente local competente que además entienda imágenes. Sobre el papel tiene 7.8B de parámetros, pero usa un diseño mixture-of-experts: solo unos 4B se activan por token, así que corre bastante más rápido de lo que su tamaño completo sugiere. En 4 bits ronda los 4.7 GB, lo que entra de sobra en una GPU de 8 GB como una RTX 3060 y cabe con holgura en la memoria unificada de cualquier Mac con Apple Silicon reciente. La pega del MoE es que igual debes cargar el modelo entero en memoria, así que cuenta con al menos 8 GB de RAM sin importar cuántos expertos se disparen.

En el día a día se siente ágil. En una RTX 3060 12GB puedes esperar unos 126 tokens por segundo en 4 bits, y una 4090 lo lleva a unos 353, ambas muy por encima de la velocidad de lectura; un M-series Max queda cerca de 144, e incluso CPU puro sobre DDR5 logra unos 21, usable si no tienes prisa. La visión es el verdadero motivo para elegirlo frente a un modelo solo de texto de este tamaño. El contexto llega como máximo a 32K, cómodo para chat y preguntas sobre documentos, pero no es un caballo de batalla de contexto largo. Si llenas esa ventana, la memoria total sube a unos 8.8 GB, así que en una tarjeta de 8 GB conviene mantener el contexto de trabajo moderado.

Frente a Llama 3.1 8B, la alternativa evidente solo de texto en su categoría, Gemma 3n E4B suele ceder algo de profundidad de razonamiento puro a cambio de dos cosas que Llama no ofrece con esta huella: comprensión nativa de imágenes y la ventaja de velocidad del MoE. Si solo necesitas texto, Gemma 3 4B es el hermano más ligero y Llama 3.1 8B la apuesta más segura para chat puro. Lo que destaca de Gemma 3n E4B es ser un modelo de visión y chat realmente usable que aun así entra en 8 GB. Una nota sobre licencias: la licencia Gemma es de pesos abiertos, no de código abierto, con los términos de uso propios de Google, así que léelos antes de publicar; eso sí, el uso comercial está permitido.