Puis-je faire tourner GPT-OSS 20B ?

GPT-OSS 20B est le modèle de raisonnement à poids ouverts d'OpenAI, et l'essentiel à comprendre, c'est qu'il s'agit d'un mixture-of-experts : sur ses 20.9B paramètres au total, seuls 3.6B s'activent par token. Il tourne donc bien plus vite qu'un modèle dense de 20B, mais il faut quand même garder l'ensemble en mémoire. En quantification 4 bits, il pèse environ 12.7 GB, et le plancher réaliste se situe autour de 24 GB de RAM. Il ne tient pas sur une carte 12 GB comme une RTX 3060 : concrètement, comptez sur un GPU de 24 GB type 4090, ou un Mac Apple Silicon doté d'une mémoire unifiée généreuse.

À l'usage quotidien, il paraît rapide pour sa taille, et c'est tout l'intérêt du MoE. Sur une RTX 4090, attendez-vous à environ 393 tokens par seconde, et sur une puce M-series Max à peu près 160 tok/s, dans les deux cas bien au-delà de la vitesse de lecture. En CPU seul sur de la DDR5, on retombe à environ 23 tok/s, utilisable pour des traitements par lots mais pas pour du chat interactif. La fenêtre de contexte de 128K est confortable, mais c'est elle qui grignote la mémoire en silence : remplissez-la entièrement et l'usage total grimpe à environ 38.5 GB une fois le cache KV chargé. Gardez un contexte de travail modeste sauf si vous avez de la marge, ou passez à la version q2 autour de 8.8 GB.

Il est conçu pour le chat et le raisonnement plutôt que pour le code : pour de la programmation, un modèle comme Codestral 22B vous rendra généralement de meilleurs services, et Mistral Small 3.1 24B est le choix à privilégier si vous voulez aussi de la vision. Son point fort, c'est la qualité de raisonnement pour seulement 3.6B paramètres actifs, et si vous cherchez plus de marge, le grand frère GPT-OSS 120B applique la même recette à plus grande échelle. La licence est Apache 2.0 : il est donc réellement libre d'utilisation, y compris en usage commercial et en production, sans aucune contrainte propre au fournisseur.