Puis-je faire tourner Llama 3.3 70B ?

Llama 3.3 70B est le modèle vers lequel on se tourne quand un 8B n'est tout simplement pas assez intelligent et qu'on a le matériel pour suivre. C'est un modèle de chat dense de 70,6 milliards de paramètres, et l'empreinte mémoire le reflète : même en quantification 4 bits, il pèse environ 42,8 GB, et il faut au moins 64 GB de mémoire système pour le charger avec un minimum de marge. En 2 bits, il descend à environ 29,6 GB, mais sa place réelle, c'est une machine Apple Silicon bien dotée en mémoire ou un poste multi-GPU, pas une seule carte grand public.

À l'usage quotidien, le bémol honnête, c'est la vitesse. Sur un M-series Max, on tourne autour de 8 tok/s en 4 bits : lisible, mais assez lent pour qu'on ressente chaque longue réponse. Et sur un CPU en DDR5, ça rampe à environ 1 tok/s. La fenêtre de contexte de 128K est réellement vaste, mais la remplir coûte cher : à pleine charge de 128K, l'empreinte mémoire totale grimpe à environ 87,5 GB, bien au-delà des 42,8 GB que réclament les poids seuls. Gardez un contexte de travail modeste, sauf si vous avez de la mémoire à revendre.

À noter : les RTX 3060 et RTX 4090 listées ne suffisent tout simplement pas pour faire tenir ce modèle en 4 bits, donc un seul GPU grand public est hors course. Face à DeepSeek R1 70B, qui partage le même nombre de paramètres, R1 est le spécialiste du raisonnement et prend généralement l'avantage sur les maths complexes à plusieurs étapes, tandis que Llama 3.3 70B reste le modèle de chat généraliste plus fiable et largement compatible. Sa force, c'est d'offrir une qualité conversationnelle proche du haut de gamme à partir de poids ouverts. Un avertissement : la licence Llama Community est à poids ouverts, pas vraiment open source, donc vérifiez les conditions de Meta avant tout déploiement commercial.