GPT-OSS 120B çalıştırabilir miyim?

GPT-OSS 120B, ön cephe seviyesinde bir sohbet ve akıl yürütme modelini tamamen kendi donanımında çalıştırmak isteyenler için OpenAI'ın büyük açık ağırlıklı (open-weight) sürümü. Mixture-of-experts bir tasarım, yani model toplamda 116.8B parametre olsa da token başına yalnızca yaklaşık 5.1B parametre aktif oluyor. Boyutuna göre hızlı kalmasını sağlayan numara bu; ama bellek konusunda seni yanıltmasına izin verme: yine de tüm modeli RAM'de tutman gerekiyor. 4-bit niceleme (quant) ile bu kabaca 71 GB demek ve modeli rahatça çalıştırmak için sistemde 96 GB civarı bellek istiyorsun. Bu bir dizüstü GPU modeli değil.

Pratikte bu, bir RTX 3060'ın hatta 4090'ın bile modeli sığdıramayacağı anlamına geliyor; dolayısıyla gerçekçi adresler yüksek bellekli bir Apple Silicon makine ya da bol RAM'li bir CPU sistemi. M serisi Max üzerinde saniyede yaklaşık 113 token bekleyebilirsin ki bu boyutta bir model için gerçekten akıcı hissettiriyor. DDR5'li bir CPU'da ise saniyede yaklaşık 16 token'a düşersin; toplu (batch) işler için kullanılabilir ama etkileşimli sohbet için yavaş. 128K bağlam penceresi cömert, fakat onu doldurmak maksimum bağlamda toplam belleği kabaca 127 GB'a çıkarıyor; bu yüzden o tavanı normal çalışma boyutun gibi görmek yerine pay bırakacak şekilde planla.

Rakiplerine kıyasla GPT-OSS 120B kodlama veya görselden çok sohbet ve akıl yürütme tarafına yaslanıyor; yani aynı bellek ayak izinde kod veya görsel girdiye ihtiyacın varsa Mistral Small 4 119B gibi bir model genelde daha geniş bir kullanım yelpazesi sunar. Kendi küçük kardeşi GPT-OSS 20B ise 96 GB RAM söz konusu bile olamadığında başvurman gereken model. Buradaki asıl öne çıkan nokta lisans: Apache 2.0, modeli ticari olarak ve üretimde, sağlayıcıya bağlı hiçbir koşul olmadan kullanabileceğin anlamına geliyor; bu, bu yetenek sınıfında nadir görülen bir şey ve onu tercih etmek için gerçek bir sebep.