我能跑 Gemma 3 12B 吗？

Gemma 3 12B 是 Google 推出的中等规模开放权重模型，它正好填补了一个实用的空档：比常见的 7-8B 对话模型能力更强，又不至于像更大的模型那样非得上工作站。在 4-bit 量化下它约为 7.4 GB，能装进 RTX 3060 这类 12 GB 显卡并留有一点余量，在 16 GB 及以上的 Apple Silicon Mac 上靠统一内存也能流畅运行。仅仅把它加载起来的内存下限是 12 GB。它还支持视觉，可以同时输入图像和文本，而同尺寸的大多数模型做不到这一点。

日常使用中，它在消费级硬件上反应灵敏。在 RTX 3060 12GB 上，4-bit 量化能跑到约 41 tokens/秒，比你的阅读速度还快；Apple M Max 可把这个数字推高到大约 47 tok/s。如果你手头有 4090，它能飞速运行，约 116 tok/s。128K 的上下文窗口是个隐患：它确实存在，但填满它的代价很高。在完整的 128K 下，模型加上 KV 缓存总共需要约 27.7 GB，远超 12 GB 显卡的容量，所以除非你有 24 GB 显卡或充足的统一内存，否则请把实际使用的上下文控制得保守一些。

与同尺寸的明显替代品 Mistral Nemo 12B 相比，Gemma 3 12B 在指令遵循和多模态任务上通常更占优势，因为 Nemo 只支持文本；不过在纯粹的长上下文对话上，Nemo 往往是更轻量的选择。如果你想再小一些，Gemma 3 4B 能在保留视觉能力的同时降低占用。Gemma 3 12B 的亮点在于：它是一款兼具视觉与对话能力、却仍能在单张中端 GPU 上运行的模型。一点提醒：它采用 Google 的 Gemma 许可证，属于开放权重，但带有特定于提供方的条款，因此在任何商业部署之前请先通读这些条款，而不要想当然地以为它是纯粹的开源软件。