¿Puedo ejecutar Magistral Small 1.2?

Magistral Small 1.2 es el modelo de razonamiento de 24B de Mistral, pensado para quien quiere un asistente local que de verdad razone problemas de varios pasos en lugar de limitarse a conversar. También maneja visión y conversación general, pero el motivo para elegirlo es el razonamiento. Lo primero que hay que planificar es su huella de memoria: con cuantización de 4 bits ronda los 14.6 GB, y conviene disponer de unos 24 GB de memoria para usarlo con holgura. Eso descarta una tarjeta de 12 GB como una RTX 3060, donde directamente no entra, y te orienta hacia una GPU de 24 GB o un Mac con Apple Silicon de más memoria.

En una RTX 4090 genera alrededor de 59 tokens por segundo, lo bastante rápido como para que su razonamiento paso a paso nunca se sienta como una espera. En un M-series Max te quedas más cerca de 24 tokens por segundo, todavía perfectamente usable para trabajo interactivo, y solo con CPU sobre DDR5 baja a unos 4 tokens por segundo, suficiente para tareas por lotes pero no para chat en vivo. El contexto de 128K es real, pero consume mucha memoria: si lo llenas, el uso total sube a unos 42 GB, bastante por encima de lo que aloja una sola tarjeta de 24 GB, así que mantén un contexto de trabajo moderado a menos que tengas margen de sobra.

Frente a sus hermanos, Mistral Nemo 12B es la opción más ligera y rápida si lo que buscas sobre todo es chat y no puedes permitirte la memoria, mientras que Gemma 4 26B A4B suele competir de forma más directa en razonamiento, programación y visión a un tamaño similar. El rasgo distintivo de Magistral es ese enfoque en el razonamiento dentro de un modelo que puedes poseer por completo: la licencia Apache 2.0 significa que puedes usarlo con fines comerciales y en producción sin ataduras del proveedor, algo poco habitual en un modelo de razonamiento de 24B tan capaz. Si tienes los 24 GB para alimentarlo, es uno de los modelos locales de razonamiento más serios disponibles.