¿Puedo ejecutar Devstral Small 2 24B?

Devstral Small 2 es el modelo de coding de 24B de Mistral, y el nombre se queda corto con la cantidad de máquina que pide. En cuantización de 4 bits ronda los 14.6 GB de pesos, así que las tarjetas de 12 GB que tiene la mayoría quedan descartadas: en una RTX 3060 directamente no entra. En la práctica querrás 24 GB de memoria para correrlo con holgura, lo que significa una GPU de 24 GB como una 4090 o un Mac con Apple Silicon y al menos 24 GB de memoria unificada. Si bajas a un cuant de 2 bits se reduce a unos 10.1 GB, pero es un sacrificio de calidad enorme para un modelo cuyo propósito es justamente generar código con cuidado.

En una 4090 puedes esperar alrededor de 59 tokens por segundo a 4 bits, algo realmente cómodo para un bucle de coding agéntico donde lee archivos, planifica y edita. En un M-series Max se queda más cerca de 24 tok/s, todavía usable para trabajo interactivo, pero se nota en generaciones largas. El llamativo contexto de 256K es real y útil para darle repositorios enteros, pero hay que ser honesto con el coste: incluso a 128K la ficha técnica sitúa la memoria total cerca de 42.1 GB, muy por encima de una sola tarjeta de 24 GB. Trata el contexto grande como algo a lo que recurres de forma deliberada, no como un valor por defecto que dejas abierto.

Frente a sus hermanos, Devstral es la opción para trabajo serio: Mistral 7B y Mistral Nemo 12B son más ligeros y fáciles de alojar, pero por lo general más flojos en tareas de coding de varios pasos, mientras que Gemma 4 26B A4B es el rival más cercano en coding y razonamiento y vale la pena compararlos lado a lado si tienes la memoria. Lo que hace destacar a Devstral es que fue construido para edición de código agéntica y con uso de herramientas, no para chat de un solo turno, y ese enfoque se nota en cómo sigue un plan a lo largo de varios archivos. La licencia es Apache 2.0, así que puedes usarlo de forma comercial y en producción sin restricciones, algo poco común en un modelo tan capaz.