¿Puedo ejecutar Devstral 2 123B?

Devstral 2 123B es el gran modelo denso de programación de Mistral, y está pensado claramente para quien monta entornos serios de coding en local, no para el público de los portátiles. En 4-bit pesa unos 74.6 GB, y eso ya lo dice todo: no entra en una RTX 3060 de 12 GB ni en una RTX 4090 de 24 GB, sin más. Necesitas alrededor de 96 GB de memoria para cargarlo con holgura, así que en la práctica eso significa un equipo Apple Silicon con mucha memoria o una workstation con RAM de sobra. Es un modelo alrededor del cual planificas tu hardware, no uno que bajas a la ligera para probarlo.

En el día a día, la pega honesta es la velocidad. En un Apple M Max te mueves en torno a 5 tokens por segundo, y un equipo solo-CPU con DDR5 baja a aproximadamente 1 token por segundo, lo que se acerca más al trabajo por lotes que al chat interactivo. Lee y escribe código bien, pero notarás cómo cada respuesta llega despacio. La ventana de contexto es generosa, 256K sobre el papel, aunque el límite real es la memoria: llegar a 128K de contexto ya pide unos 132 GB en total, así que en una máquina de 96 GB conviene mantener el contexto de trabajo moderado y apoyarse en prompts más cortos y enfocados.

Frente al Qwen 3.5 122B-A10B (MoE) de related_models, el compromiso está claro: ese modelo activa solo una fracción de sus pesos por token y, con un número de parámetros parecido, suele sentirse más rápido, mientras que Devstral 2 ejecuta cada uno de sus 123B parámetros en cada token. El punto fuerte de Devstral es ser un especialista en programación denso y enfocado de Mistral, con contexto largo, siempre que tengas la memoria para alimentarlo. Un apunte práctico sobre la licencia: se distribuye bajo una licencia Modified MIT, así que lee los términos concretos antes de cualquier despliegue comercial en lugar de dar por hecho la libertad de un MIT a secas.