¿Puedo ejecutar Gemma 3 4B?

Gemma 3 4B es el caballo de batalla compacto de Google para quien quiere un asistente local competente que además entiende imágenes. Con 4.3B de parámetros rinde por encima de lo que esperarías de un modelo de 4B, y ocupa muy poco: una cuantización de 4 bits pesa unos 2.6 GB y solo necesitas alrededor de 6 GB de RAM para ejecutarlo. Eso significa que cabe en casi cualquier cosa con pulso: una GPU de portátil vieja de 8 GB, un Mac con Apple Silicon de gama base e incluso una RTX 3060 de 12 GB con margen de sobra. Si quieres visión más chat sin una máquina potente, este es el punto de partida obvio.

En el día a día se siente ágil. En una RTX 3060 puedes esperar unos 117 tokens por segundo a 4 bits, y en una RTX 4090 sube hasta unos 329, así que las respuestas llegan más rápido de lo que las lees en cualquiera de las dos. Un Apple M Max ronda los 134 tok/s, e incluso solo con CPU sobre DDR5 alcanza unos 20, suficiente para prompts cortos. La ventana de contexto de 128K es real pero cara: si la llenas por completo, la memoria total sube a unos 15.3 GB, así que en una GPU pequeña mantén tu contexto de trabajo en unos pocos miles de tokens o baja a una cuantización menor.

Frente a Qwen 3 4B, el balance honesto es claro: Qwen 3 suele tener ventaja en razonamiento y tareas estructuradas de varios pasos, mientras que lo que distingue a Gemma 3 4B es la visión. Pocos modelos tan pequeños leen imágenes de verdad, y eso por sí solo lo convierte en la elección cuando necesitas un modelo multimodal local en hardware modesto. Si se te queda corto, Gemma 3 12B es el siguiente paso natural dentro de la misma familia. Una advertencia: la licencia Gemma es open-weight, no open-source, y conlleva los términos de uso propios de Google, así que léelos antes de incluirlo en un producto.