¿Puedo ejecutar Mistral 7B?

Mistral 7B fue el modelo que demostró por primera vez que un LLM pequeño de pesos abiertos podía ser realmente útil, y sigue siendo una opción sensata para quien quiera un asistente de chat local ligero. Con cuantización de 4 bits ocupa unos 4.4 GB, así que entra con margen de sobra en una GPU de 8 GB, corre sin problemas dentro de la memoria unificada de cualquier Mac con Apple Silicon, e incluso una versión de 2 bits de unos 3 GB es viable si lo estás ajustando a hardware más antiguo. Su licencia Apache 2.0 es de las más permisivas que existen: libre para uso comercial, sin condiciones por parte del proveedor.

En el día a día es rápido y constante para chat y resúmenes cortos. En una RTX 4090 alcanza unos 196 tokens por segundo a 4 bits, y hasta una modesta RTX 3060 12GB se mantiene en torno a 70 tok/s, más rápido de lo que puedes leer; un Mac con chip M-series Max ronda los 80 tok/s. La ventana de contexto de 32K es cómoda pero no enorme, y llenarla por completo eleva la memoria total a unos 8.4 GB, así que en una tarjeta ajustada de 8 GB conviene mantener el contexto de trabajo moderado en lugar de saturar toda la ventana.

La pega honesta es la edad: lanzado a finales de 2023, queda por detrás de modelos pequeños más nuevos en razonamiento complejo y seguimiento de instrucciones, y Mistral Nemo 12B suele manejar mejor los prompts más largos y exigentes si puedes permitirte la memoria. Para programar en concreto, Qwen 2.5 Coder 7B tiende a ser la opción más fuerte a un tamaño similar. Donde Mistral 7B aún gana es en simplicidad y alcance: es diminuto, totalmente abierto bajo Apache 2.0, y cuenta con años de herramientas detrás de la sencilla etiqueta 'mistral' de Ollama, lo que lo convierte en una base fiable y sin sorpresas.