¿Puedo ejecutar Granite 3.3 8B?

Granite 3.3 8B es la apuesta de IBM en el saturado segmento de chat de 8B, y apunta directamente a quienes quieren un asistente local fiable que de verdad puedan llevar a producción. Con sus 8.2 mil millones de parámetros, ronda los 5 GB en cuantización de 4 bits, así que entra en una GPU de 8 GB, corre dentro de la memoria unificada de cualquier Mac con Apple Silicon, y ese mínimo de 8 GB de RAM significa que está al alcance de hardware bastante común. Si lo necesitas aún más pequeño, la versión de 2 bits baja a unos 3.4 GB, aunque sacrificas calidad para llegar ahí.

En el día a día se siente rápido y constante para chatear. En una RTX 3060 12 GB verás alrededor de 62 tokens por segundo a 4 bits, cómodamente más rápido de lo que lees, y una RTX 4090 lo lleva a unos 172 tok/s. Un M-series Max se queda cerca de los 70 tok/s, mientras que solo CPU sobre DDR5 se parece más a 10 tok/s, algo reservado para tareas pacientes en segundo plano. La ventana de contexto de 128K es real, pero trátala como un techo: llenarla por completo lleva la memoria total a unos 22 GB, así que en una tarjeta de 8 GB mantén el contexto de trabajo en unos pocos miles de tokens.

Frente a sus competidores, Granite 3.3 8B es el caballo de batalla más que la estrella. Qwen 3 8B, de tamaño casi idéntico, suele llevar ventaja en prompts con mucho razonamiento y de varios pasos, y si necesitas verdadera potencia para programar, el mucho más grande Granite 4.0 H Small encaja mejor. Lo que este modelo ofrece a cambio es claridad de licencia: es Apache 2.0, así que puedes usarlo comercialmente y en producción sin condiciones específicas del proveedor. Para una empresa que quiere un modelo de chat pequeño y predecible que pueda desplegar sin dudas legales, esa apertura es el verdadero atractivo.