Puis-je faire tourner SmolLM2 1.7B ?

SmolLM2 1.7B est fait pour les cas où Llama 8B est démesuré : un modèle de chat vraiment minuscule que vous pouvez exécuter à peu près partout. En 4-bit, il pèse environ 1 GB, et il suffit d'à peu près 3 GB de RAM pour le charger avec sa marge de travail. Il tourne donc sur un Mac M1 d'entrée de gamme, un laptop bon marché, une carte de la classe Raspberry Pi, ou n'importe quel téléphone récent ayant un peu de place. Il est sous licence Apache 2.0, ce qui veut dire que vous pouvez l'utiliser commercialement et en production sans aucune contrainte côté fournisseur. Voyez-le comme le modèle que vous embarquez, pas celui avec lequel vous discutez toute la journée.

À l'usage quotidien, ce qui marque, c'est le débit brut. Sur un RTX 3060, il génère environ 297 tokens par seconde, un M Max grimpe à près de 338, et un 4090 atteint à peu près 831, bien plus vite que vous ne pouvez lire. Même sur un simple CPU DDR5, il tient autour de 49 tokens par seconde, ce qui reste parfaitement exploitable pour des réponses courtes sans aucun GPU. La vraie limite, c'est la fenêtre de contexte de 8K. C'est petit selon les standards actuels : très bien pour les questions isolées, la classification et les résumés courts, mais incapable de tenir un long document. La mémoire n'est pas un souci ici : même en remplissant les 8K, on ne dépasse qu'environ 1.5 GB au total.

Soyons honnêtes sur ce que vous apporte un 1.7B. Il gère le chat léger, la mise en forme et le suivi d'instructions simples, mais il flanche sur le raisonnement multi-étapes et les tâches de code plus longues. Qwen 3 1.7B le devance généralement sur les prompts plus difficiles et structurés, et DeepSeek R1 1.5B s'en sort mieux quand vous avez réellement besoin d'un raisonnement en chaîne de pensée (chain-of-thought) plutôt que de réponses rapides. Face à Llama 3.2 1B, il échange un peu de poids supplémentaire contre une sortie plus stable. Son atout phare, c'est l'efficacité : un assistant entièrement ouvert, utilisable commercialement, qui tourne vite sur du matériel qu'aucun autre modèle aussi capable ne pourrait viser. Tournez-vous vers lui quand l'empreinte compte plus que la profondeur.