¿Puedo ejecutar Mistral Nemo 12B?

Mistral Nemo 12B es el modelo al que recurres cuando un 8B se te queda corto pero aún quieres algo que entre en una sola GPU de consumo. Es un modelo de chat denso de 12.2B de Mistral AI, y con una cuantización de 4 bits ronda los 7.4 GB, así que encaja sin problemas en una tarjeta de 12 GB como una RTX 3060, dejando margen para el contexto. El mínimo para cargarlo se acerca a los 12 GB de RAM, por lo que va cómodo en un Mac con Apple Silicon de 16 GB o más, y se las arregla a duras penas en CPU si no tienes otra cosa.

En el día a día se comporta como un asistente general de buenos modales: estable para chatear, resumir y reescribir, sin esa irregularidad puntual que tienen los modelos más pequeños. En una RTX 3060 puedes esperar unos 41 tokens por segundo a 4 bits, y un Max de la serie M lo lleva hasta cerca de 47, ambos más rápidos de lo que lees. La ventana de contexto de 128K es real, pero no sale gratis: si la llenas por completo, la memoria total sube a unos 27.7 GB, muy por encima de lo que sostiene una sola tarjeta de 12 GB, así que mantén el contexto de trabajo moderado a menos que tengas una GPU de 24 GB o memoria unificada de sobra.

Frente a sus vecinos, Mistral Small 3.1 24B suele llevar ventaja en razonamiento más difícil y además añade visión, mientras que Gemma 3 12B es la alternativa de tamaño similar si quieres entrada de imágenes, algo que Nemo no ofrece. El rasgo que distingue a Nemo es su punto dulce: un 12B enfocado en chat que se mantiene en una sola GPU de gama común y se publica bajo Apache 2.0, así que puedes usarlo comercialmente y en producción sin ataduras. Si buscas un asistente de texto capaz que simplemente funcione en local y nunca plantee dudas de licencia, esta es una elección fácil.