Puis-je faire tourner Mellum 2 12B-A2.5B ?

Mellum 2 est le modèle de JetBrains dédié au code, conçu comme un mixture-of-experts : 12B de paramètres au total, mais seulement environ 2,5B actifs par token. C'est tout l'intérêt de cette architecture. Vous obtenez la vitesse d'un modèle d'environ 2-3B, mais vous gardez les 12B complets en mémoire, alors ne vous laissez pas tromper par le nombre de paramètres actifs. En quantification 4-bit, il pèse autour de 7,3 GB, avec un plancher pratique d'environ 12 GB de RAM. Cela tient sur une carte de 12 GB comme une RTX 3060 ou sur la mémoire unifiée d'un Mac Apple Silicon, mais 8 GB sont trop justes. Si vous vivez dans les IDE JetBrains et voulez de la complétion de code en local, il vous vise directement.

À l'usage quotidien, l'architecture MoE porte ses fruits : il paraît bien plus rapide que ne le laisse penser sa taille. Sur une RTX 3060 12GB, comptez environ 202 tokens par seconde en 4-bit, et une RTX 4090 dépasse les 565 — largement dans la zone où la complétion arrive avant que vous ayez fini de taper la ligne suivante. Le contexte de 128K est réellement grand pour un modèle de code, pratique pour lui donner des fichiers entiers ou tous les en-têtes d'un dépôt, mais ce n'est pas gratuit. Remplissez-le à fond et la mémoire totale grimpe à environ 27,4 GB, bien au-delà de ce que contient une seule carte de 12 GB ; gardez donc un contexte de travail modeste, sauf si vous avez un GPU de 24 GB ou une mémoire unifiée généreuse.

Soyons clairs sur le périmètre : c'est un spécialiste du code, pas un assistant généraliste. Pour le chat, le raisonnement ou tout ce qui touche aux images, un modèle 12B plus polyvalent comme Gemma 4 12B vous servira généralement mieux, et Mistral Nemo 12B reste le choix le plus à l'aise pour la conversation ouverte. La force de Mellum 2, c'est ce rapport vitesse/taille du MoE sur le travail de complétion, associé à une intégration IDE de premier ordre signée par ceux qui font votre éditeur. Et la licence est la partie facile : Apache 2.0, donc vous pouvez l'utiliser commercialement et en production sans souci juridique. Si votre métier, c'est le code et que vous avez une carte de 12 GB, c'est un choix local solide et rapide.