¿Puedo ejecutar Gemma 4 12B?

Gemma 4 12B es un modelo denso de 12B con capacidad de visión para chat, programación y razonamiento, pensado para quien quiere un único asistente local competente que además lea imágenes. Con cuantización de 4 bits ronda los 7.3 GB, así que entra en una tarjeta de 12 GB como una RTX 3060 dejando espacio para el contexto, y cabe sin problemas en la memoria unificada de un Mac con Apple Silicon. El modelo necesita al menos unos 12 GB de RAM para cargarse. Si vas justo, la versión de 2 bits baja a unos 5 GB, aunque sacrificas calidad a cambio de ese ahorro.

En el uso diario genera a unos 42 tok/s en una RTX 3060, lo bastante rápido para leerlo al vuelo, y alrededor de 48 tok/s en un M-series Max. Una RTX 4090 lo lleva por encima de 100. La ventana de contexto de 256K es generosa, pero trátala como margen, no como valor por defecto. Incluso con 128K de contexto, el modelo más la caché KV trepa hasta unos 27.4 GB en total, muy por encima de una sola tarjeta de 12 GB, así que acabarás desbordando a la memoria del sistema o ralentizándote mucho. En hardware de consumo, mantén el contexto de trabajo en unos pocos miles de tokens.

Frente al más ligero Gemma 3 4B, el 12B suele rendir mejor en razonamiento de varios pasos y en programación, que es el precio que pagas por la memoria extra; Gemma 3 4B es la opción si vas limitado o solo necesitas chat y visión. Lo destacable aquí es que visión y un razonamiento de texto sólido vienen en un mismo modelo que aún corre en una GPU de gama media. La licencia también es limpia: Apache 2.0 significa que puedes usarlo comercialmente y en producción sin ataduras propias del proveedor.