Quantisierung und GGUF: Warum 14 GB Modell in 5 GB passen

Kurz gesagt: Quantisierung speichert die Gewichte eines Sprachmodells mit weniger Bits — aus 16 Bit pro Parameter werden z. B. rund 4. Ein 7B-Modell schrumpft damit von ~14 GB auf ~4–5 GB und läuft plötzlich auf ganz normaler Heimhardware. Q4_K_M ist der übliche Standardkompromiss, Q8_0 die fast verlustfreie Variante für alle mit Speicherreserven. GGUF ist das Dateiformat, in dem quantisierte Modelle für Ollama und llama.cpp verteilt werden — im Gegensatz zu Safetensors, dem unquantisierten Austauschformat des Hugging-Face-Ökosystems.

Ohne Quantisierung gäbe es kein Local AI im Homelab: Die Parameterzahl diktiert den Speicherbedarf, und unquantisiert sprengt schon ein Mittelklasse-Modell jede übliche Grafikkarte. Dieser Guide erklärt, was beim Quantisieren passiert, wie du die kryptischen Kürzel liest und welches Format du wofür brauchst.

Warum Modelle so groß sind #

Ein Modell besteht fast vollständig aus seinen Gewichten: Milliarden Kommazahlen, gelernt im Training. Gespeichert wird üblicherweise in 16-Bit-Gleitkommazahlen (FP16/BF16) — zwei Bytes pro Parameter. Die Rechnung ist simpel und unbarmherzig:

Eine RTX 3060 hat 12 GB VRAM. Unquantisiert liefe darauf nicht einmal ein 7B-Modell. Genau hier setzt Quantisierung an.

Was beim Quantisieren passiert #

Quantisierung bildet die feinen 16-Bit-Werte auf ein gröberes Raster ab — vergleichbar damit, ein Foto von 16 Millionen Farben auf 256 Farben zu reduzieren: Die Datei wird drastisch kleiner, und aus der Distanz sieht das Bild fast gleich aus. Statt jeden Wert exakt zu speichern, merkt sich das Format für Gruppen von Gewichten einen Skalierungsfaktor und pro Gewicht nur noch wenige Bits.

Der Clou: Sprachmodelle sind gegen dieses Vergröbern erstaunlich robust. Die Antwortqualität sinkt messbar, aber bei moderaten Stufen so wenig, dass es im Alltag kaum auffällt. Erst bei sehr aggressiver Quantisierung kippt das Verhalten spürbar.

Nebeneffekt, der oft unterschätzt wird: Quantisierte Modelle sind nicht nur kleiner, sondern oft auch schneller — weil bei der Inferenz vor allem Speicherbandbreite limitiert und weniger Bytes pro Token bewegt werden müssen (warum, erklärt der Hardware-Guide).

Die Q-Stufen lesen: Q4_K_M und Verwandte #

In Dateinamen wie qwen2.5-14b-instruct-q4_k_m.gguf steckt die Quantisierungsstufe. Aufgeschlüsselt:

• Q4 — rund 4 Bit pro Gewicht (statt 16). Die Zahl ist der wichtigste Teil: je kleiner, desto kleiner die Datei und desto größer der Qualitätsverlust.
• K — die „K-Quants“ von llama.cpp: ein Verfahren, das unterschiedliche Modellteile unterschiedlich fein quantisiert und damit bei gleicher Größe bessere Qualität liefert als die älteren einfachen Varianten (z. B. Q4_0).
• M — Size-Variante innerhalb der Stufe: S(mall), M(edium), L(arge). M ist der übliche Mittelweg.

Die wichtigsten Stufen im Überblick — Speicherangaben als Faustwerte in Bytes pro Parameter (ein 8B-Modell in Q4_K_M also grob 8 × 0,6 ≈ 5 GB Dateigröße):

Zwei Faustregeln für die Auswahl:

1. Im Zweifel Q4_K_M. Ollama liefert Modelle standardmäßig in dieser Gegend aus — aus gutem Grund.
2. Lieber groß und Q4 als klein und Q8. Passt ein 14B-Modell in Q4 in deinen Speicher, ist es einem 8B-Modell in Q8 meist überlegen.

Ob eine Stufe in deinen Speicher passt, rechnet dir der Local-AI-Rechner aus.

GGUF: das Format für lokale Runtimes #

GGUF (GPT-Generated Unified Format, Nachfolger des älteren GGML-Formats) ist das Container-Format von llama.cpp — und damit der De-facto-Standard für lokale Inferenz. Eine einzige .gguf-Datei enthält alles: die (meist quantisierten) Gewichte, den Tokenizer, das Chat-Template und Metadaten wie Architektur und Kontextlänge. Die Runtime kann die Datei per Memory-Mapping direkt vom Datenträger einblenden, statt sie komplett umzupacken.

Praktisch heißt das: Wenn du mit Ollama, llama.cpp oder LM Studio arbeitest, arbeitest du mit GGUF — auch wenn Ollama das hinter seiner Modellverwaltung versteckt.

GGUF vs. Safetensors #

Auf Hugging Face begegnen dir beide Formate, und die Verwechslung ist der häufigste Stolperstein beim ersten Modell-Download:

„Safetensors“ heißt das Format übrigens, weil es ein sicherer Ersatz für Pythons Pickle-Serialisierung ist, die beim Laden beliebigen Code ausführen konnte — es geht um sicheres Laden, nicht um sichere Modelle.

Für das Homelab lautet die Regel schlicht: Du suchst die GGUF-Variante. Die Original-Repositories der Hersteller enthalten meist Safetensors; GGUF-Quantisierungen in allen Q-Stufen stellt die Community in separaten Repositories bereit. Wie du sie findest und direkt mit Ollama nutzt, zeigt der Hugging-Face-Guide.

Grenzen: Was Quantisierung nicht kann #

• Sie macht ein Modell nicht klüger — sie macht es nur kleiner. Ein schwaches Modell bleibt schwach, auch in Q8.
• Der Qualitätsverlust ist nicht gleichverteilt: Feinheiten wie exakte Zahlen, seltene Fachbegriffe oder lange Schlussketten leiden zuerst. Für präzisionskritische Aufgaben lieber eine Stufe höher greifen.
• Unter Q4 beginnt der Bereich, in dem Modelle sichtbar abbauen. Q2 ist eine Demo, keine Arbeitsgrundlage.

Weiterlesen #

• Wie viel RAM und VRAM braucht ein LLM? — die Bedarfsrechnung hinter den Faustwerten
• Hugging Face einfach erklärt — GGUF-Modelle finden und herunterladen
• Ollama einrichten — quantisierte Modelle in der Praxis betreiben