SmolLM2 1.7Bは動く？

SmolLM2 1.7B は、Llama 8B では大げさすぎるという場面のためのモデルです。ほぼどこでも動かせる、本当に小さなチャットモデルと言えます。4-bit 量子化なら容量は約 1 GB、作業領域込みでも必要な RAM は約 3 GB 程度なので、無印の M1 Mac、低価格ノート PC、Raspberry Pi クラスのボード、あるいは余裕のある最近のスマートフォンでも動作します。ライセンスは Apache 2.0 で、商用利用や本番環境での利用にプロバイダー側の制約は一切ありません。一日中向き合って会話するモデルというより、アプリに組み込むためのモデルだと考えるとよいでしょう。

日常的に使ううえで際立つのは、純粋なスループットです。RTX 3060 では約 297 tokens/sec、M Max では約 338、4090 ではおよそ 831 に達し、人が読める速度をはるかに上回ります。GPU のない素の DDR5 CPU でも約 49 tokens/sec をこなし、短い返答であれば GPU なしでも十分実用的です。本当のボトルネックは 8K のコンテキストウィンドウです。現在の基準では小さいため、単発の質問、分類、短い要約には向きますが、長い文書を保持することはできません。メモリはここでは問題になりません。8K すべてを埋めても合計で約 1.5 GB に届く程度です。

1.7B で何が得られるのかは正直に捉えておきましょう。軽いチャット、整形、単純な指示への追従はこなしますが、複数ステップの推論や長めのコーディングタスクでは力不足です。より難しく構造化されたプロンプトでは Qwen 3 1.7B が概ね上回り、素早い回答ではなく実際に思考の連鎖（chain-of-thought）が必要な場面では DeepSeek R1 1.5B のほうが良い傾向があります。Llama 3.2 1B と比べると、わずかに容量を増やす代わりに、より安定した出力が得られます。際立つ特長は効率性です。完全にオープンで商用利用も可能なアシスタントが、これほど高性能なほかのモデルでは動かせないハードウェア上で高速に動きます。深さよりもフットプリントが重要なときに選ぶべきモデルです。