Kann ich SmolLM2 1.7B lokal ausführen?

SmolLM2 1.7B ist für genau die Fälle gedacht, in denen Llama 8B überdimensioniert wäre: ein wirklich winziges Chat-Modell, das du praktisch überall laufen lassen kannst. In 4-Bit-Quantisierung wiegt es rund 1 GB, und du brauchst nur etwa 3 GB RAM, um es mitsamt Arbeitsspeicher unterzubringen. Damit läuft es auf einem Basis-M1-Mac, einem Einsteiger-Laptop, einem Board der Raspberry-Pi-Klasse oder jedem modernen Smartphone mit etwas Luft. Es steht unter der Apache 2.0-Lizenz, du darfst es also kommerziell und produktiv einsetzen, ohne Auflagen seitens des Anbieters. Betrachte es als das Modell, das du einbettest, nicht als das, mit dem du den ganzen Tag chattest.

Im Alltag sticht vor allem der rohe Durchsatz heraus. Auf einer RTX 3060 läuft es mit etwa ~297 tok/s, ein M Max schafft rund ~338 tok/s und eine 4090 erreicht ungefähr ~831 tok/s, weit schneller, als du lesen kannst. Selbst auf einer schlichten DDR5-CPU bringt es noch etwa ~49 tok/s, was für kurze Antworten völlig ohne GPU bestens brauchbar ist. Die eigentliche Grenze ist das Kontextfenster von 8K. Nach heutigen Maßstäben ist das klein, also passt es für einzelne Fragen, Klassifikation und kurze Zusammenfassungen, ein langes Dokument hält es aber nicht. Der Speicher ist hier kein Thema: selbst voll ausgereizte 8K erreichen nur rund 1,5 GB insgesamt.

Sei ehrlich, was dir 1.7B einbringt. Es bewältigt leichtes Chatten, Formatierung und einfaches Befolgen von Anweisungen, schwächelt aber bei mehrstufigem Schlussfolgern und längeren Coding-Aufgaben. Qwen 3 1.7B hat bei schwierigeren, strukturierten Prompts in der Regel die Nase vorn, und DeepSeek R1 1.5B liegt meist vorne, wenn du tatsächlich Chain-of-Thought-Reasoning statt schneller Antworten brauchst. Gegenüber Llama 3.2 1B tauscht es etwas mehr Gewicht gegen gleichmäßigere Ausgabe. Seine herausragende Eigenschaft ist die Effizienz: ein vollständig offener, kommerziell nutzbarer Assistent, der schnell auf Hardware läuft, die nichts sonst derart Leistungsfähiges berührt. Greif dazu, wenn der Footprint wichtiger ist als die Tiefe.