Kann ich Command R 35B lokal ausführen?

Command R 35B ist Coheres Arbeitstier für RAG und Chat und verlangt deutlich mehr von deiner Hardware als die 7-8B-Modelle, mit denen die meisten starten. In 4-bit belegt es rund 21 GB, womit die RTX 3060 mit 12 GB komplett ausfällt, und du brauchst mindestens 32 GB System-RAM, um es bequem zu laden. Realistisch zu Hause ist es auf einer 24-GB-Karte wie der RTX 4090 zu betreiben oder auf einem Apple-Silicon-Mac mit reichlich Unified Memory. Auf eine 2-bit-Quantisierung (etwa 15 GB) solltest du nur ausweichen, wenn es eng wird und du den Qualitätsverlust in Kauf nimmst.

Im Alltag wirkt es solide, aber nicht spritzig. Auf einer RTX 4090 kannst du in 4-bit mit rund 40 tok/s rechnen, was schneller streamt, als du liest; auf einem M-Max pendelt es sich bei etwa 16 tok/s ein, nutzbar, aber spürbar gemächlicher; und auf einer CPU mit DDR5 landest du bei ungefähr 2 tok/s, also im geduldsfordernden Bereich. Das 128K-Kontextfenster ist wirklich groß, aber teuer in der Nutzung: Füllst du es, klettert der Gesamtspeicher auf etwa 54 GB. Halte den Arbeitskontext daher knapp und reserviere das volle Fenster für gelegentliche lange Dokumente, sofern du kein Setup mit 48 GB oder mehr hast.

Gegen das aktuelle Feld zeigt es sein Baujahr 2024. Die Modelle Qwen 3.5 und 3.6 35B-A3B aus der verwandten Liste sind MoE-Designs, die sich beim Reasoning und Coding meist schneller und stärker anfühlen, worauf Command R nie ausgelegt war. Seine herausragende Stärke bleibt das, wofür Cohere es gebaut hat: fundierter, retrieval-augmentierter Chat mit Quellenangaben, bei dem es eher an der Quelle bleibt, statt abzuschweifen. Ein harter Vorbehalt jedoch: Die Gewichte stehen unter CC-BY-NC, das heißt ausschließlich nicht-kommerziell. Du kannst es für persönliche Projekte und Forschung nutzen, aber nicht in einem Produkt oder einem kostenpflichtigen Dienst ausliefern.