Могу ли я запустить OLMo 2 13B?

OLMo 2 13B — полностью открытая чат-модель от Ai2, и её главная ценность не только в качестве, но и в прозрачности: веса, обучающие данные и весь рецепт опубликованы под Apache 2.0, поэтому её можно без оговорок использовать в коммерческих проектах. В 4-битной квантизации модель занимает около 8.3 GB — для карты на 12 GB это многовато с учётом накладных расходов, но на GPU с 16 GB или в общей памяти Mac на Apple Silicon она помещается свободно. Если памяти в обрез, 2-битная сборка ужимается примерно до 5.7 GB. Закладывайте как минимум 12 GB RAM.

В повседневной работе это надёжный, уравновешенный собеседник. На RTX 3060 12 GB в 4-битном режиме можно рассчитывать примерно на 37 tok/s — заметно быстрее, чем вы читаете, а 4090 разгоняет до примерно 103 tok/s. M-series Max держится около 42 tok/s. Единственное, о чём стоит помнить постоянно, — контекстное окно всего 4K, что по меркам 2024–2025 годов очень мало. Даже при полной загрузке модель занимает лишь около 9 GB суммарно, но скормить ей длинные документы или объёмную историю чата без обрезки попросту не получится, так что относитесь к ней как к ассистенту для коротких сессий.

В своём весовом классе OLMo 2 13B — выбор ради открытых данных, а не лидер по чистым возможностям. Модели вроде Qwen 3 14B и Phi-4 14B обычно обходят её в рассуждениях и структурированных задачах, и обе несут куда более крупные контекстные окна, если вам важны длинные входные данные. Ministral 3 14B добавляет работу с изображениями, которой у OLMo нет. Зато OLMo даёт то, чего нет ни у одной из них, — настоящую сквозную открытость: если вам важно точно знать, что заложено в модель, или вы занимаетесь исследованиями и воспроизводимостью, обращайтесь именно к ней. Apache 2.0 означает отсутствие каких-либо ограничений на использование.