GPT-OSS 20B çalıştırabilir miyim?

GPT-OSS 20B, OpenAI'nin açık ağırlıklı reasoning modeli; anlaman gereken en kritik şey ise bunun bir mixture-of-experts olması: 20.9B toplam parametrenin yalnızca 3.6B'si her token için aktif oluyor. Bu da modeli yoğun (dense) bir 20B modele göre çok daha hızlı çalıştırıyor, ama yine de tamamını bellekte tutmak zorundasın. 4-bit niceleme (quant) ile boyut yaklaşık 12.7 GB'a oturuyor ve pratikte alt sınır 24 GB civarı RAM. RTX 3060 gibi 12 GB'lık bir karta sığmıyor; yani gerçekçi olarak ya 4090 gibi 24 GB'lık bir GPU'ya ya da bol unified bellekli bir Apple Silicon Mac'e bakıyorsun.

Günlük kullanımda boyutuna göre hızlı hissettiriyor; MoE'nin asıl getirisi de bu. RTX 4090 üzerinde saniyede yaklaşık 393 token, M serisi Max çipte ise kabaca 160 tok/s bekleyebilirsin; ikisi de okuma hızının epey üzerinde. DDR5'te yalnızca CPU ile bu rakam yaklaşık 23 tok/s'ye düşüyor; toplu (batch) işler için kullanılabilir ama interaktif sohbet için değil. 128K bağlam penceresi cömert, ancak sessizce belleği yiyen kısım tam da bu: tamamını doldurduğunda KV cache yüklendikten sonra toplam kullanım yaklaşık 38.5 GB'a tırmanıyor. Yedek alanın yoksa çalışma bağlamını ölçülü tut ya da 8.8 GB'a yakın q2 sürümüne in.

Kodlamadan çok sohbet ve reasoning için tasarlanmış; dolayısıyla programlama işlerinde Codestral 22B gibi bir model genelde sana daha iyi hizmet eder, görme (vision) de istiyorsan tercih Mistral Small 3.1 24B olur. Öne çıkan özelliği, 3.6B aktif parametre maliyetiyle sunduğu reasoning kalitesi; daha fazla alana ihtiyacın varsa büyük kardeşi GPT-OSS 120B aynı reçeteyi yukarı ölçekliyor. Lisansı Apache 2.0, yani sağlayıcıya özgü hiçbir bağlayıcı koşul olmadan, ticari kullanım ve production dahil gerçekten özgürce kullanabilirsin.