¿Puedo ejecutar Gemma 4 E4B?

Gemma 4 E4B es el modelo pequeño de mezcla de expertos (MoE) de Google, y encaja bien si buscas un asistente local que además lea imágenes. La gracia de un MoE es que por cada token solo se activan unos 4.5B de sus 8B parámetros, así que corre a la velocidad de un modelo mucho más pequeño aunque necesite espacio en memoria para el modelo completo. En 4-bit ronda los 4.9 GB, lo que entra en una tarjeta de 12 GB como una RTX 3060 con margen de sobra, y cabe sin problemas en la memoria unificada de un Mac con Apple Silicon de 8 GB. Calcula el modelo entero, no solo la porción activa.

En el día a día se siente ágil. En una RTX 3060 puedes esperar unos 112 tokens por segundo en 4-bit, y una tarjeta de gama alta como la RTX 4090 supera los 300, más rápido de lo que llegarás a leer. En Apple Silicon, un M-Max se queda cerca de 128 tok/s, e incluso la CPU sobre DDR5 alcanza unos 19 tok/s si tienes paciencia. La ventana de contexto de 128K es real, pero cara: si la llenas, la memoria total sube hasta unos 21.7 GB, muy por encima de lo que sugieren los pesos por sí solos. Mantén el contexto de trabajo en unos pocos miles de tokens en hardware modesto y irás holgado.

Frente a Gemma 3 4B, el hermano más ligero de la familia, E4B suele darte mejor salida manteniendo una huella activa igual de pequeña, y ambos manejan visión, así que es la mejor opción por defecto salvo que vayas realmente justo de memoria. Su rasgo distintivo es ese equilibrio MoE entre velocidad y calidad: chat y comprensión de imágenes con la latencia de un modelo pequeño. Y la licencia es la parte fácil. Apache 2.0 significa que puedes usarlo con libertad, incluso comercialmente y en producción, sin condiciones atadas a un proveedor concreto. Eso lo convierte en uno de los modelos locales más sencillos sobre los que realmente lanzar algo.