¿Puedo ejecutar Codestral 22B?

Codestral 22B es el modelo de Mistral AI especializado en código, pensado para autocompletado y generación de código más que para chat abierto. Con 22.2 mil millones de parámetros, supone un salto real de tamaño frente a los modelos de 7B-12B con los que la mayoría empieza, y eso se nota en el consumo: una cuantización de 4 bits ronda los 13.5 GB y el modelo pide al menos 24 GB de RAM para funcionar con holgura. Eso lo deja fuera del alcance de una tarjeta de 12 GB como una RTX 3060, donde sencillamente no entra. Una GPU de 24 GB como una RTX 4090, o un Mac con Apple Silicon y bastante memoria unificada, es el punto de entrada realista.

En una RTX 4090 puedes esperar alrededor de 64 tokens por segundo en 4 bits, lo bastante rápido para que las sugerencias de código se sientan casi instantáneas. Un Apple M-series Max se queda más abajo, en torno a 26 tok/s, todavía usable para edición interactiva, mientras que solo con CPU sobre DDR5 baja a unos 4 tok/s, algo que realmente solo sirve para trabajos por lotes que puedas dejar corriendo. La ventana de contexto es de 32K, modesta para los estándares actuales pero generosa para la mayoría del trabajo en un solo archivo o repos pequeños. Si la llenas por completo, hablamos de unos 20.1 GB de memoria total, así que en una tarjeta de 24 GB un contexto lleno deja poco margen.

Frente a sus hermanos de la misma familia, Codestral es el especialista: Mistral Nemo 12B es la opción más ligera y de propósito general para chat si vas justo de memoria, y GPT-OSS 20B suele llevar ventaja en razonamiento y conversación. El rasgo que distingue a Codestral es que fue entrenado específicamente para código en muchos lenguajes, así que para completado fill-in-the-middle y generación tiende a acertar más que un modelo generalista del mismo tamaño. La advertencia seria es la licencia: Codestral se distribuye bajo la MNPL de Mistral, una licencia no destinada a producción, de modo que no puedes usarlo comercialmente ni en un producto en producción. Considéralo solo una herramienta de investigación y uso personal.