我能跑 Llama 4 Scout 吗？

Llama 4 Scout 是 Meta 的混合专家（MoE）模型，要理解它，关键在于看清两个规模之间的差距。它总共有 109B 参数，但每个 token 只激活其中的 17B，所以生成速度相当于一个 17B 模型，可内存占用却是完整 109B 的水平。在 4-bit 量化下，磁盘大约占 66 GB，而要加载它，你至少需要 96 GB 内存或统一内存。这不是一款 24 GB 消费级显卡能跑的模型：RTX 3060 和 RTX 4090 都直接装不下。现实点说，它需要工作站，或者一台拉满配置的 Apple Silicon 机器。

在统一内存足够的 Apple M Max 上，4-bit 下大约能跑到每秒 34 tokens，比你阅读的速度还要快不少，用于交互式对话和它的视觉任务都很流畅。换到搭配 DDR5 的 CPU 上，速度会降到大约每秒 5 tokens，做批处理还能用，但来回对话就很难受了。官方宣传的上下文非常大，但要小心：把上下文推到接近 128K tokens 时，总内存会涨到约 120 GB，所以这超长上下文是一个硬件预算的取舍，而不是免费打开的开关。除非你有充裕的余量，否则还是把工作上下文控制得保守一些。

和同一量级的另一款大模型 GPT-OSS 120B 相比，Scout 是更适合多模态的选择，因为它支持视觉，而 GPT-OSS 在纯推理上通常更占优势。和 Llama 3.2 3B 这类小型同门相比，Scout 完全是另一个量级的投入：那些模型在手机级别的占用下就能跑，而它需要一台服务器。它最突出的特点，是在这种规模下还能做到真正快速、且具备图像能力。有一点需要注意：它采用 Llama Community license 发布，这是开放权重（open-weight）而非开源（open-source），所以在拿它做任何商业项目之前，先看清楚授权条款。