¿Puedo ejecutar Gemma 4 26B A4B?

Gemma 4 26B A4B es la apuesta mixture-of-experts de Google, y el truco está en el nombre: contiene 25.2B de parámetros en total, pero solo enruta 3.8B por cada token. Eso significa que genera a la velocidad de un modelo pequeño, aunque necesita memoria para el conjunto completo. En cuantización de 4 bits ronda los 15.3 GB, y conviene tener al menos 24 GB de RAM para cargarlo con holgura. Eso descarta una tarjeta de 12 GB como la RTX 3060, donde directamente no entra, y te orienta hacia una GPU de 24 GB o un equipo con Apple Silicon y memoria unificada generosa.

En el día a día, el diseño MoE rinde. En una RTX 4090 corre a unos 372 tokens por segundo, muy por encima del punto en que el texto se transmite más rápido de lo que puedes leer, y un Max de la serie M aún entrega cerca de 151 tok/s. Solo con CPU sobre DDR5 baja a unos 22 tok/s, suficiente para tareas por lotes pero no para chat interactivo. La ventana de contexto es generosa, 256K, pero tómala como un techo: con 128K de contexto, el consumo total de memoria sube hasta unos 43.4 GB, así que en una configuración de 24 GB conviene mantener el contexto de trabajo moderado, salvo que bajes a la build q2 de 10.6 GB.

Frente a Mistral Small 3.1 24B, un modelo de visión denso de tamaño parecido, Gemma 4 suele sentirse más ágil por token gracias al enrutamiento disperso, aunque los modelos densos de esa categoría pueden llevar ventaja en el razonamiento más exigente de una sola pasada. Su rasgo distintivo es esa relación entre velocidad y capacidad, sumada a un soporte real de visión y de programación en un mismo paquete. La licencia es Apache 2.0, así que puedes usarlo comercialmente y en producción sin restricciones específicas del proveedor, algo poco común a este tamaño y un punto claramente a su favor. Descárgalo con ollama como gemma4:26b.