¿Puedo ejecutar Gemma 4 E2B?

Gemma 4 E2B es el modelo pequeno de mezcla de expertos de Google, y lo interesante esta en las cuentas: tiene 5.1B parametros en total, pero solo activa unos 2.3B por token. Esto significa que corre a la velocidad de un modelo mucho mas pequeno, aunque sigue necesitando memoria para el conjunto completo. Una cuantizacion de 4 bits queda en torno a 3.1 GB, y conviene tener al menos unos 6 GB de RAM para alojar todos los pesos. Eso entra en una GPU de gama de entrada de 8 GB o en cualquier Mac con Apple Silicon de sobra, y maneja tanto chat como vision, asi que puedes pasarle imagenes, no solo texto.

En el uso diario, el truco de los parametros activos se nota en el rendimiento puro. En una RTX 3060 12GB alcanza unos 219 tokens por segundo en 4 bits, y una RTX 4090 lo lleva por encima de 600; un Max de la serie M ronda los 250. Las respuestas salen mucho mas rapido de lo que las lees. El contexto de 128K es el detalle a vigilar: si lo llenas, la memoria total trepa a unos 16.8 GB, muy por encima de los 6 GB que necesitas con contexto corto. En una tarjeta modesta, manten el contexto de trabajo en unos pocos miles de tokens o la cache KV terminara siendo mas grande que el propio modelo.

Dentro de su propia familia, Gemma 3 4B es la alternativa densa si prefieres no lidiar con la huella de memoria del MoE, y Qwen 3 4B suele tener ventaja en razonamiento de varios pasos, ya que ese es su enfoque declarado. Lo que distingue a Gemma 4 E2B es la relacion velocidad-capacidad sumada a vision nativa en un paquete tan ligero, algo raro a este tamano. Es Apache 2.0, asi que, a diferencia de los terminos mas antiguos de Gemma de Google, puedes usarlo comercialmente en produccion sin ninguna licencia especial que leer. Descargalo con ollama run gemma4:e2b y listo.