我能跑 Gemma 3n E4B 吗？

Gemma 3n E4B 是 Google 面向对话和视觉打造的小型多模态模型，主要针对那些既想要一个本地强力助手、又希望它能看懂图片的用户。它名义上有 7.8B 参数，但采用混合专家（MoE）架构：每个 token 只激活约 4B 参数，所以实际运行速度明显快于其整体规模给人的印象。在 4-bit 量化下约为 4.7 GB，能轻松塞进像 RTX 3060 这样的 8 GB 显卡并留有余量，在任何较新的 Apple Silicon Mac 的统一内存里也游刃有余。MoE 的小麻烦在于：无论实际激活多少专家，整个模型仍需常驻内存，因此请预留至少 8 GB 内存。

日常使用感觉很流畅。在 RTX 3060 12GB 上，4-bit 下可达到约 126 tok/s，4090 则能推到大约 353，两者都远超阅读速度；M 系列 Max 大约在 144 左右，即便是 DDR5 上的纯 CPU 也能跑出约 21，不赶时间的话也够用。视觉能力才是你在这个规模上选它而非纯文本模型的真正理由。上下文最高为 32K，对于对话和文档问答足够舒适，但算不上长上下文的主力。一旦填满这个窗口，总内存占用会爬升到约 8.8 GB，所以在 8 GB 显卡上要把实际工作上下文控制得克制一些。

对比 Llama 3.1 8B 这个同级别里最直接的纯文本替代方案，Gemma 3n E4B 通常会牺牲一部分纯粹的推理深度，换来 Llama 在同等体量下无法提供的两样东西：原生图像理解，以及 MoE 带来的速度优势。如果你只需要文本，Gemma 3 4B 是更轻量的同门，Llama 3.1 8B 则是更稳妥的纯对话之选。Gemma 3n E4B 的最大亮点，是它是一款真正实用、且仍能装进 8 GB 的视觉加对话模型。关于许可证有一点要注意：Gemma 许可证是开放权重而非开源，附带 Google 自己的使用条款，因此上线前务必先读一遍——不过它允许商业使用。