¿Puedo ejecutar Gemma 3 12B?

Gemma 3 12B es el modelo de pesos abiertos de tamaño medio de Google, y ocupa un punto útil para quienes quieren más capacidad que los típicos modelos de chat de 7-8B sin saltar a algo que exija una workstation. En cuantización de 4 bits ronda los 7.4 GB, lo que cabe en una tarjeta de 12 GB como una RTX 3060 con un poco de margen, y corre sin problemas en la memoria unificada de un Mac con Apple Silicon de 16 GB o más. El mínimo para cargarlo es de 12 GB de RAM. Además maneja visión, así que puedes pasarle imágenes junto al texto, algo que la mayoría de modelos de este tamaño no puede.

En el uso diario se siente ágil en hardware de consumo. En una RTX 3060 12GB obtienes alrededor de 41 tokens por segundo en 4 bits, más rápido de lo que lees, y un Apple M Max lo lleva a aproximadamente 47 tok/s. Una 4090 vuela a unos 116 tok/s si tienes una. La ventana de contexto de 128K es el truco: existe de verdad, pero llenarla sale caro. Al máximo de 128K, el modelo más la caché KV necesita unos 27.7 GB en total, muy por encima de lo que aguanta una tarjeta de 12 GB, así que mantén un contexto de trabajo moderado salvo que tengas una GPU de 24 GB o bastante memoria unificada.

Frente a Mistral Nemo 12B, la alternativa obvia del mismo tamaño, Gemma 3 12B suele llevar ventaja en seguimiento de instrucciones y trabajo multimodal, ya que Nemo es solo de texto, aunque Nemo tiende a ser la opción más ligera para chat de contexto largo puro. Si quieres quedarte en algo más pequeño, Gemma 3 4B reduce la huella conservando la visión. Lo que distingue a Gemma 3 12B es ser un modelo competente de visión y chat que aún corre en una sola GPU de gama media. Una advertencia: se distribuye bajo la licencia Gemma de Google, que es de pesos abiertos pero incluye términos específicos del proveedor, así que léelos antes de cualquier despliegue comercial en lugar de dar por hecho que es código abierto sin más.