我能跑 Gemma 3 1B 吗？

Gemma 3 1B 是 Google 推出的超小型聊天模型，专为那些需要秒级加载、几乎能在任何设备上运行的本地助手场景而生。采用 4-bit 量化后体积仅约 0.6 GB，即便是 8-bit 版本也大致只有 1.1 GB，因此能轻松塞进 3 GB RAM 还绰绰有余。这意味着它无需独立 GPU，就能跑在老旧笔记本、Raspberry Pi 级别的设备或手机芯片上。如果你想要的是快速对话、起草文本，或是嵌入到一个对每一兆字节都斤斤计较的应用里，那它正是你要找的模型。

日常使用中，它最亮眼的就是纯粹的速度。在 RTX 4090 上每秒可生成约 1413 个 token，更常见的 RTX 3060 仍能跑到 ~505 tok/s，Apple M Max 则在 ~575 tok/s 左右。即便是 DDR5 上的纯 CPU 推理，也能达到约 84 tok/s，比你的阅读速度还快。上下文窗口为 32K，而且和更大的模型不同，你可以用很低的成本把它填满相当一部分：在完整的 32K 下，全部加起来也才约 2.2 GB，所以在这里内存从来不是卡住你的瓶颈。

关于它的体量得说句实话：只有 1B 参数，这不是一个用于推理或写代码的模型，遇到冗长、多步骤的指令它会理不清头绪。如果你的资源还有富余，Gemma 3 4B 通常能更好地应对更难的提示词，并且额外支持视觉；而在纯聊天场景下，同一重量级里最直接的对比对象是 Llama 3.2 1B。Gemma 3 1B 最突出的特点，是它差不多就是你能跑起来的、真正还算好用的最小聊天模型。有一点要提醒：它采用 Google 的 Gemma 许可证，虽然属于开放权重（open-weight），但带有该提供方特有的条款，因此在商用发布之前务必先读一读。