我能跑 Granite 4.0 H Small 吗？

Granite 4.0 H Small 是 IBM 的混合专家（MoE）模型：账面上有 32B 参数，但每个 token 实际只激活约 9B。这一点决定了它的全部特性。由于每个 token 只用到一小部分权重，它在同体量模型里跑得很快；但你仍然得把完整模型装进内存，所以规划硬件时要按 32 GB 的最低要求来算，而不是按激活参数量。4-bit 量化后体积约为 19.4 GB，这直接排除了 RTX 3060 这类 12 GB 显卡，得改用 24 GB 显卡，或一台配备充足统一内存的 Apple Silicon Mac。它的定位是聊天和编程任务，而不是在笔记本上随便玩玩。

在 RTX 4090 上速度约为每秒 157 个 token，远超阅读速度，用于交互式编程会话相当顺手。在 M 系列 Max 上大约是 64 tok/s，依然舒适；而在 DDR5 上纯 CPU 推理会降到约 9 tok/s，可以跑批处理任务，但不适合实时对话。128K 上下文是货真价实的，但代价很高：把它填满后总内存会攀升到约 50.7 GB，所以在 24 GB 显卡上你实际无法逼近上限运行。除非你有一台 64 GB 的 Mac 可用，否则请把工作上下文控制在适度范围内。

对比 Qwen 3 32B 这种总体量相近的稠密模型，得益于 MoE 设计，Granite 通常对硬件更友好；不过 Qwen 3 在更重的推理任务上往往更有优势，因为它每个 token 都会激活全部参数。如果你想要更小更简单的选择，稠密的 Granite 3.3 8B 在普通显卡上更容易跑得起来。Granite 4.0 H Small 最突出的地方在于，它是一款真正可以自托管、速度过硬的 32B 级模型，并且采用 Apache 2.0 许可证发布，因此你可以放心地商用，完全没有许可方面的顾虑。