¿Puedo ejecutar Mistral Small 4 119B?

Mistral Small 4 119B es el bicho raro de la familia: dice "small" en el nombre, pero en realidad lleva 119B de parámetros totales como mixture-of-experts que solo activa 6.5B por token. Ese diseño explica por qué rinde por encima de su tamaño activo en velocidad, pero igual pagas el modelo entero en memoria. En 4 bits ronda los 72 GB y necesitas aproximadamente 96 GB de RAM para cargarlo. Ninguna GPU de consumo lo aguanta: ni una RTX 3060 de 12 GB ni siquiera una RTX 4090 de 24 GB dan la talla. Es un modelo para workstation o máquina con mucha memoria unificada, no una opción para portátil.

En el uso diario el truco del MoE rinde donde importa. En un Apple M Max con mucha memoria corre cerca de 88 tokens por segundo, lo que se siente conversacional para un modelo de este tamaño, e incluso en CPU con DDR5 sacas unos 13 tokens por segundo si tienes paciencia. El contexto de 256K es generoso sobre el papel, pero ojo con la memoria: a 128K de contexto la huella total sube hasta unos 128.6 GB, así que la ventana larga solo es real si tienes la RAM para sostenerla. Trata el contexto completo como una cuestión de presupuesto de hardware, no como un ajuste gratis.

Frente a su propia familia, Mistral 7B y Nemo 12B son las opciones ligeras solo para chat si no puedes alimentar 96 GB; este modelo normalmente saca ventaja en razonamiento, programación y visión, cosas que esos dos no manejan en absoluto. Su rival más cercano aquí es Nemotron 3 Super 120B-A12B, otro MoE grande de la misma categoría de peso; los dos tienden a intercambiar golpes en vez de que uno lidere con claridad. Lo destacable es que obtienes un modelo de cuatro tareas (chat, razonamiento, programación y visión) bajo una licencia Apache 2.0 de verdad, así que el uso comercial y en producción está plenamente permitido sin condiciones del proveedor.