¿Puedo ejecutar Ministral 3 3B?

Ministral 3 3B es la respuesta de Mistral a la pregunta "¿cuál es el modelo más pequeño que aún se siente como un asistente de verdad?". Con 3B de parámetros está pensado para chat y trabajo ligero de visión sobre hardware que ya tienes. Una cuantización de 4 bits ronda los 1.8 GB, y puedes reducir la versión q2 hasta 1.3 GB si vas muy justo de espacio. Con un mínimo de 4 GB de RAM corre en un portátil de gama de entrada, una GPU vieja de 4 GB o cualquier Mac con Apple Silicon sin que tengas que preocuparte por la memoria. Es el modelo al que recurres cuando uno más grande no cabe.

En el día a día la velocidad es lo que más llama la atención. En una RTX 3060 verás unos 168 tokens por segundo, un M-series Max alcanza alrededor de 192 y una 4090 llega a unos 471: todos muy por encima de lo que puedes leer, así que las respuestas se sienten instantáneas. Solo con CPU sobre DDR5 aún logra unos 28 tok/s, suficiente para trabajo por lotes. La ventana de contexto es generosa, 256K, pero tómala como un techo. Llenarla sale caro rápido: con 128K de contexto la carga total de memoria sube a unos 12.6 GB, muy por encima de la huella del propio modelo, así que mantén el contexto de trabajo moderado en máquinas pequeñas.

Siendo honestos, con 3B estás sacrificando algo de profundidad a cambio de esa velocidad y esa huella mínima. Mistral 7B suele aguantar mejor en razonamiento más difícil y cadenas de instrucciones más largas, y Mistral Nemo 12B saca todavía más ventaja si te sobra memoria. Donde gana Ministral 3 3B es en la combinación de rendimiento bruto y el hecho de que además maneja visión, algo que los Mistral más grandes, solo de chat, no hacen. Se distribuye bajo Apache 2.0, así que puedes usarlo comercialmente sin ataduras. Como modelo pequeño rápido, gratuito y todoterreno, se gana su sitio.