Command R 35B çalıştırabilir miyim?

Command R 35B, Cohere'in RAG ve sohbet için tasarladığı çalışkan modeli; çoğu insanın başladığı 7-8B modellere kıyasla donanımınızdan çok daha fazlasını ister. 4-bit'te yaklaşık 21 GB yer kaplar, dolayısıyla 12 GB'lık RTX 3060 tamamen devre dışı kalır ve modeli rahatça yükleyebilmek için en az 32 GB sistem RAM'ine ihtiyacınız var. Gerçekçi adresi RTX 4090 gibi 24 GB'lık bir kart ya da bol unified bellekli bir Apple Silicon Mac. 2-bit niceleme (yaklaşık 15 GB) seçeneğine ise yalnızca gerçekten sıkıştıysanız ve kalite kaybını göze alıyorsanız inin.

Günlük kullanımda hızlıdan çok istikrarlı. RTX 4090 üzerinde 4-bit'te saniyede yaklaşık 40 token bekleyebilirsiniz; bu okuma hızınızdan daha akıcı akar. M serisi bir Max'te ise 16 tok/s civarına oturur, kullanılabilir ama gözle görülür biçimde daha ağırdan alır. DDR5'li bir CPU'da ise kabaca 2 tok/s ile karşı karşıyasınız, ki bu sabır sınayan bir bölge. 128K bağlam penceresi gerçekten geniş ama kullanması pahalı: doldurduğunuzda toplam bellek yaklaşık 54 GB'a tırmanır. Dolayısıyla 48 GB ve üzeri bir kurulumunuz yoksa çalışma bağlamını ölçülü tutun ve tüm pencereyi ara sıra gelen uzun belgelere saklayın.

Güncel kuşağın karşısında 2024 yaşını gösteriyor. İlgili listedeki Qwen 3.5 ve 3.6 35B-A3B modelleri, genel olarak daha hızlı hissettiren ve akıl yürütme ile kodlamada daha güçlü olan MoE tasarımları; oysa Command R'ın odağı hiçbir zaman bunlar olmadı. Öne çıkan özelliği hâlâ Cohere'in onu tasarladığı şey: kaynaklara dayalı, alıntılı retrieval-augmented sohbet; burada konudan sapmak yerine kaynağa sadık kalma eğiliminde. Yine de bir sert uyarı var: ağırlıklar CC-BY-NC lisanslı, yani bu yalnızca ticari olmayan kullanım demek. Kişisel projeler ve araştırma için çalıştırabilirsiniz ama bir ürüne ya da herhangi bir ücretli hizmete koyup yayınlayamazsınız.