我能跑 Llama 3.2 3B 吗？

Llama 3.2 3B 适合那些想在几乎不吃力的硬件上跑一个真正可用助手的人。采用 4-bit 量化后大约占用 1.9 GB 空间，仅需 4 GB 左右的 RAM；也就是说它几乎能塞进任何地方：一台入门级笔记本、一块内存足够的 Raspberry 级开发板、一块老旧的 6 GB GPU，或者任何还有点空闲空间的 Apple Silicon Mac。如果 8B 系列对你的机器来说太重，那么这就是仍能让对话真正实用的那个更低档位。

日常使用中最突出的就是速度。在一块 RTX 3060 上，你可以期待每秒约 158 token；一块 4090 能把这个数字拉到 ~442 tok/s，比你阅读的速度快得多。即便你完全没有 GPU，一颗 DDR5 CPU 也能撑住大约 26 tok/s。规格里列出了 128K 上下文窗口，但在内存方面要现实一点：把它填满会让总占用攀升到大约 13 GB，远高于模型空载时的内存足迹。在小机器上，请把工作上下文控制在几千 token 以内。

在自家系列里，Llama 3.2 3B 是以牺牲深度来换取体积。Llama 3.1 8B 通常能更好地处理更难的推理和多步指令；而它的 1B 兄弟只有在你确实卡在内存瓶颈、并且能接受更弱的回答时才值得考虑。3B 真正的亮点在于：它是最小的、却让人感觉像一个称职的对话伙伴而非玩具的 Llama。提醒一点：它采用 Llama Community 许可证，这意味着尽管权重是开放的（open-weight），它仍带有 Meta 自己的条款，因此并非严格意义上的 open-source。在基于它开发产品之前，请先审阅这些条款。