Kann ich Mellum 2 12B-A2.5B lokal ausführen?

Mellum 2 ist das auf Coding spezialisierte Modell von JetBrains, aufgebaut als Mixture-of-Experts (MoE): insgesamt 12B Parameter, aber nur rund 2.5B aktiv pro Token. Genau darin liegt der Sinn des Designs. Du bekommst das Tempo eines etwa 2-3B großen Modells, hältst aber trotzdem die vollen 12B im Speicher – lass dich also von der Zahl der aktiven Parameter nicht täuschen. Bei einer 4-bit-Quantisierung landet es bei rund 7.3 GB, mit einer praktischen Untergrenze von etwa 12 GB RAM. Das passt auf eine 12-GB-Karte wie eine RTX 3060 oder in den Unified Memory eines Apple-Silicon-Macs, aber 8 GB sind zu knapp. Wenn du in JetBrains-IDEs lebst und lokale Code-Vervollständigung willst, ist es genau auf dich zugeschnitten.

Im Alltag zahlt sich das MoE-Design aus: Es fühlt sich deutlich schneller an, als seine Größe vermuten lässt. Auf einer RTX 3060 12GB kannst du bei 4-bit mit rund 202 Tokens pro Sekunde rechnen, und eine RTX 4090 schiebt über 565 hinaus – klar in dem Bereich, in dem die Vervollständigungen da sind, bevor du die nächste Zeile zu Ende getippt hast. Der 128K-Kontext ist für ein Coding-Modell wirklich groß und praktisch, um ganze Dateien oder die Header eines ganzen Repos einzuspeisen, aber er ist nicht umsonst. Füllst du ihn komplett, steigt der Gesamtspeicher auf rund 27.4 GB – weit über das hinaus, was eine einzelne 12-GB-Karte fasst. Halte den Arbeitskontext also moderat, sofern du nicht eine 24 GB GPU oder großzügigen Unified Memory hast.

Eines sollte man klar benennen: Das hier ist ein Coding-Spezialist, kein allgemeiner Assistent. Für Chat, Reasoning oder irgendetwas mit Bildern leistet dir ein breiter aufgestelltes 12B wie Gemma 4 12B in der Regel bessere Dienste, und Mistral Nemo 12B ist tendenziell die angenehmere Wahl für offene Unterhaltungen. Die herausragende Eigenschaft von Mellum 2 ist genau dieses MoE-Verhältnis aus Tempo zu Größe bei Vervollständigungs-Aufgaben, kombiniert mit erstklassiger IDE-Integration von den Leuten, die deinen Editor bauen. Und die Lizenz ist der einfache Teil: Apache 2.0, du kannst es also kommerziell und in Produktion einsetzen, ohne dir rechtliche Sorgen zu machen. Wenn dein Hauptjob Code ist und du eine 12-GB-Karte hast, ist es eine starke, schnelle lokale Wahl.