¿Puedo ejecutar Granite 4.0 H Small?

Granite 4.0 H Small es el modelo de mezcla de expertos de IBM: 32B de parámetros sobre el papel, pero solo unos 9B activos por token. Esa división lo explica todo. Va rápido para su tamaño porque cada token toca una fracción de los pesos, pero aun así tienes que mantener el modelo completo en memoria, así que planifica en torno al mínimo de 32 GB y no según el conteo activo. En cuantización de 4 bits ronda los 19.4 GB, lo que descarta por completo una tarjeta de 12 GB como la RTX 3060 y te orienta hacia una GPU de 24 GB o un Mac con Apple Silicon y bastante memoria unificada. Está pensado para chat y programación, no para experimentar a la ligera en un portátil.

En una RTX 4090 se mueve a unos 157 tokens por segundo, muy por encima de la velocidad de lectura, lo que lo hace agradable para sesiones de programación interactivas. En un M-series Max estás ante unos 64 tok/s, todavía cómodo, y en CPU pura sobre DDR5 baja a unos 9 tok/s, usable para trabajos por lotes pero no para chat en vivo. El contexto de 128K es real, pero sale caro: si lo llenas, la memoria total sube hasta unos 50.7 GB, así que en una tarjeta de 24 GB no puedes acercarte al techo de verdad. Mantén el contexto de trabajo modesto a menos que tengas un Mac de 64 GB de sobra.

Frente a Qwen 3 32B, un modelo denso de tamaño total parecido, Granite suele resultar más ligero para el hardware gracias al diseño MoE, aunque Qwen 3 tiende a llevar ventaja en razonamiento más exigente, ya que activa todos sus parámetros en cada token. Si buscas algo más pequeño y sencillo, el denso Granite 3.3 8B encaja mejor en GPUs modestas. La cualidad distintiva de Granite 4.0 H Small es ser un modelo de clase 32B realmente rápido que de verdad puedes autoalojar, y se distribuye bajo Apache 2.0, así que puedes usarlo comercialmente sin preocupaciones de licencia.