¿Puedo ejecutar Mellum 2 12B-A2.5B?

Mellum 2 es el modelo de JetBrains enfocado en programación, construido como una mezcla de expertos (mixture-of-experts): 12B parámetros en total, pero solo unos 2.5B activos por token. Ese es el sentido de su diseño. Obtienes la velocidad de un modelo de unos 2-3B, pero igual cargas los 12B completos en memoria, así que no te dejes engañar por el conteo de activos. En cuantización de 4 bits ronda los 7.3 GB, con un piso práctico de unos 12 GB de RAM. Eso entra en una tarjeta de 12 GB como una RTX 3060 o en la memoria unificada de un Mac con Apple Silicon, pero 8 GB se queda corto. Si vives dentro de los IDEs de JetBrains y quieres autocompletado de código en local, va dirigido justamente a ti.

En el uso diario el diseño MoE rinde: se siente mucho más rápido de lo que su tamaño sugiere. En una RTX 3060 12GB puedes esperar unos 202 tokens por segundo en 4 bits, y una RTX 4090 supera los 565, bien dentro del rango donde las completaciones aparecen antes de que termines de escribir la siguiente línea. El contexto de 128K es realmente grande para un modelo de programación, útil para pasarle archivos enteros o todos los headers de un repo, pero no sale gratis. Si lo llenas por completo, la memoria total trepa a unos 27.4 GB, muy por encima de lo que aguanta una sola tarjeta de 12 GB, así que mantén el contexto de trabajo moderado salvo que tengas una GPU de 24 GB o memoria unificada generosa.

Conviene ser claro sobre su alcance: es un especialista en código, no un asistente general. Para chat, razonamiento o cualquier cosa con imágenes, un modelo 12B más amplio como Gemma 4 12B suele servirte mejor, y Mistral Nemo 12B tiende a ser la opción más cómoda para conversación abierta. Lo que distingue a Mellum 2 es esa relación velocidad-tamaño del MoE en trabajo de autocompletado, sumada a una integración de primera con el IDE hecha por quienes fabrican tu editor. Y la licencia es la parte fácil: Apache 2.0, así que puedes usarlo comercialmente y en producción sin preocupaciones legales. Si tu trabajo principal es programar y tienes una tarjeta de 12 GB, es una opción local fuerte y rápida.