我能跑 Gemma 4 E2B 吗？

Gemma 4 E2B 是 Google 推出的小型混合专家（MoE）模型，最有意思的地方在于它的参数账：总参数量为 5.1B，但每个 token 只激活约 2.3B。这意味着它能以远小于自身体量的模型那样的速度运行，同时却仍需为全部权重预留内存。4-bit 量化后体积约为 3.1 GB，要装下完整权重，内存最好至少有 6 GB 左右。这样的需求一块入门级 8 GB 显卡就能轻松满足，任何 Apple Silicon 的 Mac 也绰绰有余。它同时支持对话和视觉，所以你不仅能喂文本，还能喂图片。

日常使用中，激活参数的这个小技巧在吞吐量上回报明显。在 RTX 3060 12GB 上，4-bit 下能跑到约 219 tokens 每秒，RTX 4090 能把这个数字推到 600 以上；M 系列 Max 大约在 250 左右。回复的生成速度远快于你的阅读速度。128K 上下文是需要留意的代价：一旦填满，总内存会攀升到约 16.8 GB，远超短上下文下所需的 6 GB。在小显卡上，把工作上下文控制在几千个 token 以内，否则 KV cache 会胀得比模型本身还大。

在自家家族里，如果你不想应付 MoE 的内存占用，Gemma 3 4B 是稠密版的替代选择；而 Qwen 3 4B 在多步推理上通常更占优势，因为那正是它主打的方向。Gemma 4 E2B 的亮点在于速度与能力的比值，再加上在如此轻量的体积里原生支持视觉——这在同等规模的模型中相当少见。它采用 Apache 2.0 许可，因此不同于 Google 早期 Gemma 那套条款，你可以放心地将它用于商业生产环境，无需再去研读任何特殊许可。用 ollama run gemma4:e2b 拉取即可上手。