Warum kostet lokale KI so viel Hardware? Die Speicherfrage hinter jedem Token

Kurz gesagt: Lokale KI ist nicht deshalb teuer, weil Sprachmodelle so viel rechnen, sondern weil sie so viel lesen. Für jedes erzeugte Wort muss der Rechner die Gewichte des Modells aus dem Speicher holen. Deshalb entscheiden Speichergröße und Speicherbandbreite, was läuft und wie schnell — und genau diese beiden Dinge werden langsamer billiger als Rechenleistung.

Wie viel Speicher ein bestimmtes Modell braucht, rechnet der Guide Wie viel RAM und VRAM braucht ein LLM? durch. Hier geht es um die Frage dahinter: Warum ist das so — und bleibt es so?

Ein Token, ein kompletter Durchlauf durch den Speicher #

Ein Sprachmodell schreibt Text Token für Token. Für jedes einzelne Token rechnet es einmal durch das ganze Netz — und dafür müssen dessen Gewichte vom Speicher zu den Rechenwerken. Bei kleinen Batchgrößen, also wenn nur eine Person mit dem Modell arbeitet, wird die Zeit pro Token vom Laden der Gewichte dominiertBelegt. Die Rechenwerke könnten schneller, sie warten auf Daten.

Daraus folgt eine grobe Obergrenze: Tokens pro Sekunde ≈ Speicherbandbreite ÷ (Modellgröße + KV-Cache)Theorie. Ein Rechenbeispiel, ausdrücklich als Obergrenze und nicht als Messwert:

• Eine RTX 4090 hat laut NVIDIA 24 GB Speicher mit 1.008 GB/s BandbreiteHerstellerangabe.
• Llama 3.1 8B belegt als Q4_K_M-Datei rund 4,9 GBDemonstriert.
• 1.008 ÷ 4,9 ergibt gut 200 Tokens pro Sekunde als theoretische Decke. Reale Werte liegen darunter — wie weit, messen wir im LAB, sobald eigene Benchmarks vorliegen.

Dass kleinere Dateien schneller generieren, zeigt auch das llama.cpp-Projekt selbst: Dasselbe 8B-Modell erzeugte in 16 Bit rund 29 Tokens pro Sekunde, als Q4_K_M rund 72 — auf derselben, dort nicht näher beschriebenen HardwareDemonstriert. Rund ein Drittel der Daten, rund das Zweieinhalbfache an Tempo.

Warum der Speicher, nicht die GPU, den Preis macht #

Daraus ergeben sich zwei harte Grenzen, und beide kosten Geld:

1. Kapazität: Passt das Modell nicht komplett in den schnellen Speicher, lagert die Software Teile in den normalen Arbeitsspeicher aus — und das Tempo bricht ein. Ein 70B-Modell ist selbst als Q4_K_M noch rund 43 GB großDemonstriert und passt damit auf keine einzelne Consumer-Karte mit 24 GB.
2. Bandbreite: Selbst wenn es passt, bestimmt die Bandbreite das Tempo. Apples M4 Max bietet laut Apple bis zu 128 GB gemeinsamen Speicher mit bis zu 546 GB/sHerstellerangabe — viel Platz, aber etwa halb so viel Bandbreite wie die 4090. Mehr Kapazität gegen weniger Tempo: Das ist der Tausch, den man beim Kauf eigentlich trifft.

Mit dem Local-AI-Rechner lässt sich das direkt ausprobieren: 70 Milliarden Parameter, 24 GB VRAM — und die Anzeige, wie viele Gigabyte fehlen.

Der Kontext kostet extra #

Neben den Gewichten wächst ein zweiter Speicherposten mit jeder Zeile Unterhaltung: der KV-Cache, das Arbeitsgedächtnis des Modells für den bisherigen Text. Beim Modell OPT-13B belegt er rund 800 KB pro Token — bei 2.048 Tokens bis zu 1,6 GB pro AnfrageBelegt. Im Rechenzentrum, wo viele Anfragen gleichzeitig laufen, wird das zum Hauptproblem; im Homelab zeigt es sich, sobald man das Kontextfenster für lange Dokumente hochdreht.

Warum das nicht von allein besser wird #

Man könnte hoffen, dass die nächste Hardware-Generation das Problem löst. Die Zahlen sprechen dagegen: Über die letzten 20 Jahre ist die Spitzenrechenleistung von Server-Hardware etwa um den Faktor 3,0 alle zwei Jahre gewachsen, die DRAM-Bandbreite nur um den Faktor 1,6Belegt. Rechenwerke werden also schneller hungrig, als der Speicher sie füttern kann. Diese Lücke heißt Memory Wall — und sie ist der Grund, warum die Forschung an Architekturen arbeitet, die Daten gar nicht erst bewegen wollen (mehr dazu in der Landkarte Was kommt nach CPU und GPU?).

Der größte Hebel heute: weniger Bits #

Solange Hardware das Problem nicht löst, bleibt Software: Quantisierung speichert jedes Gewicht mit weniger Bits — weniger Daten heißt weniger Speicher und mehr Tempo.

• Eine Studie über viele Modellfamilien fand 4 Bit fast durchgehend optimal für das Verhältnis aus Modellgröße und Genauigkeit; bei 3 Bit bricht die Qualität einBelegt.
• Das Verfahren GPTQ brachte Modelle auf 3 bis 4 Bit pro Gewicht bei vernachlässigbarem Genauigkeitsverlust und ließ damit erstmals ein Modell mit 175 Milliarden Parametern auf einer einzelnen Rechenzentrums-GPU laufenBelegt.

Deshalb ist Q4 der Standard bei lokalen Modellen — nicht aus Bequemlichkeit, sondern weil es der beste Tausch ist, den man heute bekommt.

Und der Strom? #

Die zweite laufende Rechnung ist die Leistungsaufnahme. NVIDIA nennt für die RTX 4090 bis zu 450 W Grafikleistung und 19 W im LeerlaufHerstellerangabe — Werte für die Karte allein, nicht für den ganzen Rechner. Was das bei deiner Nutzung pro Monat kostet, rechnet der Stromkosten-Rechner mit diesen Werten vorbefüllt; Stunden pro Tag und Strompreis trägst du selbst ein. Eigene Messungen an der Steckdose folgen im LAB.

Was heißt das beim Kauf? #

Die Reihenfolge der Fragen ist eine andere als beim Gaming-PC:

1. Wie viel schneller Speicher? Entscheidet, welche Modelle überhaupt laufen.
2. Wie viel Bandbreite? Entscheidet, wie flüssig sie laufen.
3. Wie viel Rechenleistung? Zählt vor allem beim Einlesen langer Texte und wenn mehrere Personen gleichzeitig fragen.
4. Wie viel Watt? Entscheidet über die laufenden Kosten im Dauerbetrieb.

Ob sich diese Reihenfolge je umdreht, hängt davon ab, ob Architekturen wie Compute-in-Memory den Weg vom Labor in bezahlbare Hardware schaffen.Evidenz: Spekulation Bis dahin gilt: Lokale KI kauft man in Gigabyte und Gigabyte pro Sekunde.