Puis-je faire tourner Gemma 3 1B ?

Gemma 3 1B est un tout petit modèle de chat signé Google, pensé pour les cas où l'on veut un assistant local qui se charge instantanément et tourne quasiment partout. En quantification 4 bits, il ne pèse qu'environ 0.6 GB, et même une version 8 bits reste autour de 1.1 GB : il tient donc dans 3 GB de RAM avec de la marge. Concrètement, il fonctionne sur un vieux portable, un appareil de type Raspberry Pi ou une puce de téléphone, sans jamais solliciter de GPU dédié. Pour du chat rapide, de la rédaction de brouillons ou une intégration dans une application où chaque mégaoctet compte, c'est le modèle vers lequel se tourner.

À l'usage quotidien, l'argument phare reste la vitesse brute. Sur une RTX 4090, il atteint environ 1413 tok/s, et une RTX 3060 plus courante tient encore près de 505 tok/s, avec un Apple M Max autour de 575 tok/s. Même en pur CPU sur de la DDR5, il gère à peu près 84 tok/s, soit plus vite que vous ne lisez. La fenêtre de contexte est de 32K, et contrairement aux modèles plus gros, vous pouvez en remplir une bonne partie sans vous ruiner : à 32K complets, l'ensemble occupe environ 2.2 GB au total, si bien que la mémoire n'est jamais le facteur limitant ici.

Soyons honnêtes sur sa taille : avec 1B de paramètres, ce n'est ni un modèle de raisonnement ni un modèle de code, et il perdra le fil sur de longues instructions en plusieurs étapes. Si vous avez la marge, Gemma 3 4B gère en général les requêtes plus difficiles et ajoute la vision, tandis que Llama 3.2 1B est l'alternative évidente à poids équivalent pour comparer sur du chat simple. La grande force de Gemma 3 1B, c'est d'être à peu près le plus petit modèle de chat réellement utilisable que vous puissiez faire tourner. Une réserve : il est distribué sous la licence Gemma de Google, à poids ouverts mais assortie de conditions propres au fournisseur, à lire donc avant tout déploiement commercial.