¿Puedo ejecutar Mistral Small 3.1 24B?

Mistral Small 3.1 24B es lo que buscas cuando un modelo de 8B te decepciona una y otra vez en prompts difíciles, pero no quieres dar el salto a uno de 70B. Es un modelo de chat y visión de 24B, así que entiende imágenes igual que texto, y se publica bajo Apache 2.0, lo que significa que puedes usarlo comercialmente y en producción sin ataduras de ningún tipo. El problema es el tamaño: con una cuantización de 4 bits ronda los 14.6 GB, y conviene tener unos 24 GB de memoria para ejecutarlo con holgura. Eso descarta una tarjeta de 12 GB como una RTX 3060, donde sencillamente no entra, y te orienta hacia una GPU de 24 GB o un Mac con Apple Silicon y bastante memoria unificada.

En una tarjeta de 24 GB como una RTX 4090 alcanza unos 59 tokens por segundo a 4 bits, lo que se transmite más rápido de lo que lees y se siente realmente ágil para un modelo de este tamaño. En un M-series Max te quedas más cerca de 24 tokens por segundo, todavía perfectamente usable para chat interactivo. Solo en CPU con DDR5 baja a unos 4 tokens por segundo: vale para un trabajo por lotes durante la noche, pero no para quedarte esperando delante de la pantalla. La ventana de contexto de 128K es real, pero sale cara: si la llenas del todo, la memoria total sube hasta unos 42 GB, muy por encima de lo que el modelo necesita con contexto corto, así que mantén el contexto de trabajo moderado salvo que te sobre margen.

Dentro de su propia familia es el peso pesado: Mistral Nemo 12B es la opción más ligera y rápida si vas justo de memoria, y Mistral 7B es el mínimo absoluto, pero ninguno iguala a Small 3.1 en razonamiento difícil ni en seguir instrucciones. Gemma 4 26B A4B es el rival más cercano en capacidad bruta y suma fortalezas en programación y razonamiento, así que compara los dos si esas tareas son lo que más te importa. El rasgo que distingue a Small 3.1 es una combinación que rara vez se da junta: visión nativa, contexto largo y una licencia Apache 2.0 totalmente permisiva, lo que lo convierte en uno de los modelos capaces más fáciles de llevar de verdad a un producto.