Posso rodar o Mellum 2 12B-A2.5B?

O Mellum 2 é o modelo da JetBrains voltado para programação, construído como mixture-of-experts: 12B de parâmetros no total, mas apenas cerca de 2.5B ativos por token. É justamente essa a ideia do projeto. Você ganha a velocidade de um modelo de uns 2-3B, mas continua segurando os 12B completos na memória, então não se engane com a contagem de ativos. Em quantização de 4 bits ele fica em torno de 7.3 GB, com um piso prático de uns 12 GB de RAM. Isso cabe numa placa de 12 GB como a RTX 3060 ou na memória unificada de um Mac com Apple Silicon, mas 8 GB é apertado demais. Se você vive dentro das IDEs da JetBrains e quer autocompletar código localmente, ele foi feito pensando em você.

No uso diário o desenho MoE compensa: ele parece bem mais rápido do que o tamanho sugere. Numa RTX 3060 12GB dá para esperar cerca de 202 tokens por segundo em 4 bits, e uma RTX 4090 passa dos 565 — bem dentro da faixa em que o autocomplete aparece antes de você terminar de digitar a próxima linha. O contexto de 128K é realmente grande para um modelo de código, útil para alimentar arquivos inteiros ou os headers de um repositório, mas não sai de graça. Encha tudo e a memória total sobe para uns 27.4 GB, muito além do que uma única placa de 12 GB comporta, então mantenha o contexto de trabalho modesto a menos que você tenha uma GPU de 24 GB ou bastante memória unificada.

Vale deixar o escopo claro: este é um especialista em código, não um assistente geral. Para conversa, raciocínio ou qualquer coisa com imagens, um 12B mais abrangente como o Gemma 4 12B costuma servir melhor, e o Mistral Nemo 12B tende a ser a escolha mais amigável para conversas abertas. O grande diferencial do Mellum 2 é essa relação velocidade-tamanho do MoE em tarefas de autocomplete, somada a uma integração de primeira com a IDE feita por quem desenvolve o seu editor. E a licença é a parte fácil: Apache 2.0, então você pode usá-lo comercialmente e em produção sem dores de cabeça jurídicas. Se o seu trabalho principal é código e você tem uma placa de 12 GB, é uma opção local forte e rápida.