Question 1

Welches LLM läuft mit 8 GB RAM?

Accepted Answer

Mit 8 GB laufen 4-Bit-quantisierte Modelle bis etwa 7–8B Parametern problemlos — zum Beispiel Llama 3.1 8B oder DeepSeek R1 7B. Kleinere Modelle wie Llama 3.2 3B oder Gemma 3 4B laufen noch flotter und lassen Platz für andere Programme.

Question 2

Brauche ich eine GPU, um ein LLM lokal auszuführen?

Accepted Answer

Nein. Tools wie Ollama, LM Studio und llama.cpp führen Modelle auch auf der CPU aus. Eine GPU (oder Apple Silicon mit Unified Memory) beschleunigt die Generierung um ein Vielfaches, doch der eigentliche Türsteher ist der RAM — das Modell muss in den Speicher passen.

Question 3

Was ist Quantisierung (Q4, Q8)?

Accepted Answer

Quantisierung verkleinert ein Modell, indem seine Gewichte mit weniger Bits gespeichert werden. Q4 (4 Bit) reduziert die Größe gegenüber den ursprünglichen 16-Bit-Gewichten etwa um das Vierfache — bei nur geringem Qualitätsverlust. So laufen LLMs standardmäßig auf normaler Consumer-Hardware.

Question 4

Wie genau ist dieser Test?

Accepted Answer

Browser begrenzen manche Signale zum Schutz der Privatsphäre: Der gemeldete Speicher endet bei 8 GB, und GPU-Namen werden verallgemeinert. Betrachten Sie das Ergebnis als solide Schätzung — und stellen Sie Ihren echten RAM manuell ein, um ein präzises Urteil zu erhalten. Alles läuft in Ihrem Browser, es werden keine Daten gespeichert.

Question 5

Mit welchen Programmen kann ich Modelle lokal ausführen?

Accepted Answer

Die beliebtesten sind Ollama, LM Studio, llama.cpp und Jan. Wählen Sie ein Modell, das dieser Test grün markiert, laden Sie die Q4-Version herunter — und wenige Minuten später chatten Sie offline.

Welches LLM kann ich lokal ausführen?

Häufig gestellte Fragen