Wie viel RAM und VRAM braucht ein LLM? Die ehrliche Rechnung

Kurz gesagt: Der Speicherbedarf eines lokalen LLM folgt einer simplen Formel: Parameterzahl × Bytes pro Parameter + Puffer. In der üblichen Q4_K_M-Quantisierung heißt das grob: 7–9B-Modelle brauchen ~6–7 GB, 12–14B ~10–11 GB, 32B ~22 GB, 70B ~46 GB — im VRAM der Grafikkarte, im gemeinsamen Speicher eines Apple-Silicon-Macs oder zur Not im RAM. Passt das Modell nicht in den schnellen Speicher, läuft es zwar per Auslagerung weiter, aber deutlich langsamer. Für dein konkretes Setup rechnet das der Local-AI-Rechner durch.

Die Frage „welche Hardware für Local AI?“ wird oft wie eine Gaming-Frage behandelt — welche GPU ist die schnellste? Für lokale Sprachmodelle ist das die falsche Sortierung: Speichergröße schlägt Rechenleistung. Warum das so ist und was das für GPU, Mac und CPU-only-Server bedeutet, klärt dieser Guide. (Die Grundbegriffe — Parameter, Tokens, Kontext — erklärt der LLM-Grundlagen-Guide.)

Die Faustformel #

Der Speicherbedarf setzt sich aus drei Posten zusammen:

1. Die Gewichte — der große Block: Parameterzahl × Bytes pro Parameter. Wie viele Bytes ein Parameter belegt, bestimmt die Quantisierung: FP16 = 2,0 · Q8_0 ≈ 1,06 · Q4_K_M ≈ 0,6.
2. Der KV-Cache — das Arbeitsgedächtnis für den Kontext. Wächst mit der Kontextlänge; bei moderaten 4–8K Tokens meist unter 1–2 GB, bei sehr großen Fenstern deutlich mehr.
3. Runtime und Compute-Puffer — ein kleiner fester Anteil für die Inferenz-Engine selbst.

Als Faustformel, wie sie auch unser Rechner nutzt:

Bedarf (GB) ≈ Parameter (Mrd.) × Bytes/Parameter × 1,05 + 1,5

Damit ergeben sich pro Modellklasse diese Schätzwerte (keine Messwerte — reale Größen schwanken je nach Architektur und Kontext):

Gegenprobe mit gängiger Hardware: Eine 12-GB-Karte fährt 7–9B in Q8 oder 12–14B in Q4. Eine 24-GB-Karte (RTX 3090/4090) schafft 27–32B in Q4. Für 70B braucht es 48+ GB schnellen Speicher — das ist Workstation- oder Mac-Studio-Territorium, nicht mehr Homelab-Alltag.

Warum Bandbreite über Geschwindigkeit entscheidet #

Für jedes erzeugte Token muss die Runtime einmal durch alle Gewichte des Modells. Ein 5-GB-Modell bedeutet also: pro Token werden grob 5 GB aus dem Speicher gelesen. Der limitierende Faktor ist damit fast immer die Speicherbandbreite, nicht die Rechenleistung — und genau deshalb ist die Speichersorte so entscheidend:

• GPU-VRAM (GDDR) liefert mehrere hundert GB/s bis über 1 TB/s — deshalb sind Grafikkarten schnell.
• Apple Silicon Unified Memory liegt je nach Chip dazwischen — deshalb sind Macs erstaunlich gut, obwohl sie „nur RAM“ haben.
• Normaler PC-RAM (DDR4/DDR5) liefert nur einige Dutzend GB/s — deshalb ist CPU-Inferenz spürbar zäh und bricht die Geschwindigkeit ein, sobald ein GPU-Modell teilweise in den RAM auslagert.

Merksatz: Die Speichergröße entscheidet, ob ein Modell läuft — die Speicherbandbreite, wie schnell.

Setup 1: PC oder Server mit dedizierter GPU #

Der klassische Weg, und hier gilt: VRAM kaufen, nicht FPS. Eine gebrauchte RTX 3090 mit 24 GB ist für Local AI interessanter als eine schnellere Gaming-Karte mit 12 GB. Bei NVIDIA ist die Software-Unterstützung (CUDA) am reifsten; AMD-Karten funktionieren mit Ollama und llama.cpp über ROCm bzw. Vulkan inzwischen ordentlich, erfordern aber öfter Handarbeit. Intel-GPUs sind die Newcomer-Option mit dem jüngsten Software-Stack.

Zwei Homelab-spezifische Punkte:

• Idle-Verbrauch: Eine dedizierte GPU erhöht die Leerlauf-Leistung des Servers dauerhaft — bei einem 24/7-System zählt jedes Watt (Stromkosten-Rechner). Wer das Modell nur gelegentlich braucht, kann den Server auch nur bei Bedarf wecken.
• Durchreichen: In einer Proxmox-Umgebung will die GPU per Passthrough in die VM oder als Device in den LXC — dieselbe Übung wie beim Transcoding mit Jellyfin.

Setup 2: Apple Silicon #

Macs mit M-Chips sind heimliche Local-AI-Maschinen: CPU und GPU teilen sich einen gemeinsamen, schnell angebundenen Speicher (Unified Memory). Ein Mac mit 32 GB kann der GPU damit mehr Speicher bereitstellen als fast jede Consumer-Grafikkarte hat — und Ollama nutzt die GPU über Metal automatisch.

Die Einschränkung: macOS reserviert per Voreinstellung nur einen Teil des Speichers für die GPU — als Faustregel ~70 %. Ein 16-GB-MacBook bietet der GPU also nur gut 11 GB; dazu konkurrieren Betriebssystem und Apps um denselben Speicher. Für 7–9B-Modelle reicht das gut, für 12–14B wird es eng. Wer beim Mac-Kauf an Local AI denkt: Der Aufpreis für mehr Speicher ist hier tatsächlich das relevante Upgrade.

Setup 3: Nur CPU #

Kein Grund zur Scham — CPU-only funktioniert, und für erste Experimente ist der vorhandene alte PC als Homeserver völlig ausreichend. Das quantisierte Modell muss in den RAM passen (plus ~4 GB fürs System), also: 16 GB RAM für 7–9B, 32 GB für 12–14B.

Die Erwartung muss nur stimmen: Durch die geringe RAM-Bandbreite arbeiten CPU-Setups deutlich langsamer als GPUs — kleine Modelle bleiben benutzbar, größere werden zur Geduldsprobe. Ein sparsamer N100-Server kann ein 3–4B-Modell als Hintergrund-Helfer betreiben; ein 32B-Modell auf CPU ist dagegen eher eine Demonstration als ein Werkzeug.

Der Kontext isst mit #

Die Tabelle oben rechnet mit moderatem Kontext. Wer das Kontextfenster hochdreht — etwa um lange Dokumente zu verarbeiten —, zahlt dafür zusätzlich: Der KV-Cache wächst mit jedem Token im Fenster und kann bei sehr großen Fenstern mehrere zusätzliche Gigabyte belegen. Wenn ein Modell knapp passt, ist ein zu groß konfigurierter Kontext der häufigste Grund, warum es doch nicht (oder plötzlich langsam) läuft.

Und die Geschwindigkeit in Zahlen? #

Bewusste Lücke: Konkrete Tokens-pro-Sekunde-Angaben pro Hardware findest du hier nicht — solche Zahlen hängen an Modell, Quantisierung, Kontext und Runtime-Version, und wir veröffentlichen nur selbst gemessene Werte. Sobald eigene LAB-Messungen auf realer Homelab-Hardware existieren, werden sie hier verlinkt.

Weiterlesen #

• Local-AI-Rechner — dein Setup durchrechnen
• Quantisierung und GGUF — die Bytes-pro-Parameter-Werte im Detail
• Ollama einrichten — vom passenden Modell zum laufenden Setup