Puis-je faire tourner GPT-OSS 120B ?

GPT-OSS 120B est la grosse sortie en open-weight d'OpenAI, pensée pour ceux qui veulent un modèle de chat et de raisonnement de niveau frontier tournant entièrement sur leur propre matériel. C'est une architecture mixture-of-experts : même si le modèle complet compte 116,8 milliards de paramètres, seuls 5,1 milliards environ sont actifs par token. C'est l'astuce qui le garde rapide pour sa taille, mais ne vous y trompez pas côté mémoire : il faut quand même tout charger en RAM. En quantification 4-bit, cela représente environ 71 GB, et il vous faut autour de 96 GB de mémoire système pour le faire tourner confortablement. Ce n'est pas un modèle pour GPU de portable.

Concrètement, une RTX 3060 ou même une 4090 ne suffira tout simplement pas à le contenir : les seules options réalistes sont une machine Apple Silicon dotée de beaucoup de mémoire ou un serveur CPU à grosse RAM. Sur une puce M-series Max, vous pouvez tabler sur environ 113 tokens par seconde, ce qui paraît vraiment réactif pour un modèle de cette taille. Sur CPU avec de la DDR5, vous tombez à environ 16 tokens par seconde : utilisable pour du traitement par lots, mais lent pour du chat interactif. La fenêtre de contexte de 128K est généreuse, mais la remplir pousse la mémoire totale à environ 127 GB en contexte maximal ; prévoyez donc de la marge plutôt que de considérer ce plafond comme votre taille de travail habituelle.

Face à ses pairs, GPT-OSS 120B penche nettement vers le chat et le raisonnement plutôt que vers le code ou la vision ; un modèle comme Mistral Small 4 119B vous offre généralement plus de polyvalence si vous avez besoin de code ou d'entrée image dans la même empreinte. Son petit frère, GPT-OSS 20B, est celui vers lequel se tourner quand 96 GB de RAM sont hors de portée. Le vrai atout ici, c'est la licence : Apache 2.0 signifie que vous pouvez l'utiliser commercialement et en production sans aucune contrainte du fournisseur, ce qui est rare à ce niveau de capacité et une vraie raison de le choisir.