我能跑 Gemma 4 31B 吗？

Gemma 4 31B 是 Google 推出的中大型开放权重模型，参数量 30.7B，把对话、代码、推理和视觉能力打包在一起。这不是那种笔记本随开随用的模型。4-bit 量化下它约占 18.6 GB，光是加载就至少需要 32 GB 内存，所以 RTX 3060 这类 12 GB 显卡根本放不下。它真正合适的落脚点是 RTX 4090 这样的 24 GB GPU，或者配备充裕统一内存的 Apple Silicon Mac。如果你想要一个全能型选手、手头又有合适的硬件，本地模型正是从这个档位开始变得真正好用。

日常使用中，它谈不上飞快，但够顺手。在 RTX 4090 上，4-bit 下大约能跑到 46 tok/s，边输出边读完全跟得上；在 Apple M Max 上则稳定在接近 19 tok/s，交互使用依然没问题。纯 CPU 跑 DDR5 内存会掉到约 3 tok/s，这就只能靠耐心了。256K 的上下文窗口很慷慨，但代价不小：仅推到 128K 就已经要占用约 49.3 GB 总内存，所以把完整窗口当成上限，除非内存有富余，否则工作上下文还是控制得保守些为好。

对比 Qwen 3 30B-A3B（一个参数量极为接近的 30.5B 同类，差别在架构）：Qwen 采用的 mixture-of-experts 设计每个 token 通常更省算力，而 Gemma 4 31B 是稠密模型，每次前向都用满全部权重，在视觉和广泛的指令遵循上整体感觉更稳。如果你想要体量小得多的，Gemma 3 4B 是更轻的选择。这款模型的亮点在于覆盖面广：一个模型搞定对话、代码、推理和图像，并且采用干净的 Apache 2.0 许可，可商用、可上生产，没有特定厂商的限制。