我能跑 Gemma 3 4B 吗？

Gemma 3 4B 是 Google 推出的小型主力模型，适合想要一个能力不俗、还能看懂图片的本地助手的人。它有 4.3B 参数，表现超出你对 4B 模型的预期，而且占用极小：4-bit 量化版约 2.6 GB，运行只需大约 6 GB 内存。这意味着它几乎能塞进任何还能开机的设备：一块老旧的 8 GB 笔记本显卡、一台入门级 Apple Silicon Mac，甚至 12 GB 的 RTX 3060 都绰绰有余。如果你想在不依赖高配机器的情况下同时拥有视觉和对话能力，这就是最顺理成章的起点。

日常使用中它反应很快。在 RTX 3060 上，4-bit 量化大约能跑到每秒 117 tokens；换成 RTX 4090 则攀升到约 329，两者的回复都比你阅读的速度更快。Apple M Max 大约在 134 tok/s，即便是 DDR5 上的纯 CPU 也能做到约 20，对付短提示完全够用。128K 的上下文窗口是真实可用的，但代价不小：一旦把它填满，总内存会涨到约 15.3 GB，所以在小显存的 GPU 上，最好把实际使用的上下文控制在几千 tokens，或者改用更小的量化版本。

与 Qwen 3 4B 相比，取舍很清楚：在推理和结构化、多步骤任务上，Qwen 3 通常更胜一筹；而 Gemma 3 4B 的亮点在于视觉。这么小的模型里，真正能读懂图像的寥寥无几，单凭这一点，当你需要在普通硬件上跑一个本地多模态模型时，它就是首选。如果它满足不了你了，同系列的 Gemma 3 12B 是自然的进阶选择。一点提醒：Gemma 采用的是开放权重（open-weight）许可，而非开源（open-source），并附带 Google 自己的使用条款，所以在把它放进产品之前，请先把条款读清楚。