我能跑 OLMo 2 13B 吗？

OLMo 2 13B 是 Ai2 完全开放的对话模型，它的吸引力既来自性能，也来自来源透明：权重、训练数据和训练配方全部以 Apache 2.0 协议公开，所以你可以放心地商用，不必去琢磨授权条款。在 4-bit 量化下体积约为 8.3 GB，算上额外开销，对 12 GB 显卡来说略嫌吃力，但放在 16 GB 显卡上、或 Apple Silicon Mac 的统一内存里都能轻松跑起来。如果显存紧张，2-bit 版本可降到约 5.7 GB。内存方面建议至少预留 12 GB 作为底线。

日常使用中，它像一个稳健、性情平和的对话搭档。在 RTX 3060 12 GB 上用 4-bit 大约能跑到每秒 37 token，明显快过你的阅读速度；换成 4090 则能提到约 103 tok/s。M 系列 Max 大致稳定在 42 tok/s 上下。唯一需要时刻记在心里的，是 4K 的上下文窗口——按 2024-2025 年的标准来看相当小。即便填满，整个模型也只需约 9 GB，但你根本无法在不截断的情况下喂给它长文档或冗长的聊天记录，所以请把它当作一个短回合的助手来用。

在同尺寸级别里，OLMo 2 13B 是开放数据派的选择，而非原始能力的领跑者。Qwen 3 14B 和 Phi-4 14B 这类模型在推理和结构化任务上通常略胜一筹，而且如果你在意长输入，二者都带来大得多的上下文窗口。Ministral 3 14B 还加入了视觉能力，OLMo 则没有。OLMo 能提供、而它们都做不到的，是真正端到端的开放：如果你想确切知道自己的模型里到底放进了什么，或者你在做研究和可复现性工作，那它就是你该选的那一个。Apache 2.0 意味着不附带任何使用限制。