¿Puedo ejecutar Gemma 4 31B?

Gemma 4 31B es el modelo abierto de tamaño medio-grande de Google, con 30.7B de parámetros, pensado para chat, programación, razonamiento y visión en un solo paquete. No es un modelo para llevar en cualquier portátil. En cuantización de 4 bits ocupa unos 18.6 GB, y necesitas al menos 32 GB de RAM solo para cargarlo, así que una tarjeta de 12 GB como la RTX 3060 directamente no le da cabida. Su sitio realista es una GPU de 24 GB como la RTX 4090, o un Mac con Apple Silicon y bastante memoria unificada. Si buscas un todoterreno capaz y tienes el hardware, esta es la gama donde los modelos locales empiezan a sentirse de verdad útiles.

En el día a día resulta cómodo más que fulgurante. En una RTX 4090 puedes esperar alrededor de 46 tokens por segundo en 4 bits, suficiente para ir leyendo mientras genera; en un Apple M Max baja a cerca de 19 tokens por segundo, todavía válido para trabajo interactivo. Solo con CPU sobre DDR5 cae a unos 3 tokens por segundo, terreno reservado a la paciencia. La ventana de contexto de 256K es generosa, pero sale cara: acercarse a los 128K ya consume unos 49.3 GB de memoria total, así que trata la ventana completa como un techo y mantén el contexto de trabajo moderado salvo que te sobre margen.

Frente a Qwen 3 30B-A3B, un hermano casi idéntico de 30.5B, el intercambio es de arquitectura: el diseño mixture-of-experts de Qwen tiende a ser más ligero por token, mientras que Gemma 4 31B es un modelo denso que usa todo su peso en cada pasada y suele sentirse más estable en visión y en seguir instrucciones variadas. Si quieres algo mucho más pequeño, Gemma 3 4B es la opción ligera. Lo que destaca aquí es la amplitud: un solo modelo que cubre chat, código, razonamiento e imágenes, bajo una licencia Apache 2.0 limpia que puedes usar comercialmente y en producción sin restricciones específicas del proveedor.