¿Puedo ejecutar Gemma 3 1B?

Gemma 3 1B es un modelo de chat diminuto de Google, pensado para esos casos en los que quieres un asistente local que cargue al instante y funcione casi en cualquier parte. En cuantización de 4 bits ocupa apenas unos 0,6 GB, y hasta una versión de 8 bits ronda los 1,1 GB, así que cabe en 3 GB de RAM y de sobra. Eso significa que corre en un portátil viejo, en un dispositivo tipo Raspberry Pi o en un chip de nivel móvil sin tocar una GPU dedicada. Si necesitas algo para chat rápido, redacción o para incrustarlo en una app donde cada megabyte cuenta, este es el modelo al que recurrir.

En el día a día lo que destaca es la velocidad pura. En una RTX 4090 llega a unos 1413 tokens por segundo, y una RTX 3060 más habitual aún hace unos 505 tok/s, con una Apple M Max en torno a 575 tok/s. Incluso en CPU pura sobre DDR5 alcanza unos 84 tok/s, más rápido de lo que puedes leer. La ventana de contexto es de 32K y, a diferencia de los modelos más grandes, puedes llenar buena parte de ella sin coste: a los 32K completos el conjunto se queda en unos 2,2 GB en total, así que aquí la memoria nunca es lo que te frena.

Conviene ser honesto sobre su tamaño: con 1B de parámetros no es un modelo de razonamiento ni de programación, y se perderá en instrucciones largas de varios pasos. Si tienes margen, Gemma 3 4B suele manejar prompts más difíciles y añade visión, mientras que Llama 3.2 1B es la alternativa obvia del mismo peso para comparar en chat sencillo. La cualidad que distingue a Gemma 3 1B es que es más o menos el modelo de chat realmente usable más pequeño que puedes ejecutar. Una advertencia: se distribuye bajo la licencia Gemma de Google, que es de pesos abiertos pero incluye términos propios del proveedor, así que léelos antes de usarlo comercialmente.