¿Puedo ejecutar Devstral 24B?

Devstral 24B es el especialista en programación de Mistral AI, pensado para quien quiere un agente local capaz para tareas de software más que un asistente de chat genérico. Con 24B de parámetros densos no es ligero: el cuant de 4 bits ronda los 14.6 GB y el modelo necesita unos 24 GB de RAM como mínimo para funcionar con holgura. Eso lo deja fuera del alcance de una tarjeta de 12 GB como una RTX 3060, donde directamente no entra. Su entorno natural es una GPU de 24 GB como una RTX 4090, o un Mac con Apple Silicon con bastante memoria unificada. Si vas justo de espacio, la versión de 2 bits baja a unos 10.1 GB.

En el uso diario de programación sobre una RTX 4090 puedes esperar alrededor de 59 tokens por segundo en 4 bits, suficiente para que el código generado fluya mientras lo lees. En un Apple M-series Max se asienta más cerca de 24 tokens por segundo, perfectamente válido para trabajo interactivo, y solo en CPU sobre DDR5 cae a unos 4 tokens por segundo, terreno de paciencia. La ventana de contexto de 128K es realmente amplia, pero no sale gratis: llenarla eleva la memoria total a unos 42.1 GB, muy por encima del consumo en reposo del modelo, así que mantén el contexto de trabajo moderado a menos que te sobre margen.

Frente a sus hermanos de gama, Devstral 24B es el peso pesado: Mistral 7B y Mistral Nemo 12B son mucho más ligeros y están orientados al chat general, así que correrán en hardware que Devstral ni toca, pero suelen quedarse por detrás en tareas reales de programación. La comparación más cercana es Gemma 4 26B A4B, un modelo de tamaño similar que también maneja programación además de chat, razonamiento y visión, y que tiende a ser el generalista más versátil si buscas un único modelo para todo. El rasgo distintivo de Devstral es su enfoque estrecho en el código, y la licencia Apache 2.0 significa que puedes usarlo libremente, incluso en producción comercial.