Ist Datenbewegung das eigentliche KI-Problem? Die Memory Wall verständlich erklärt

Kurz gesagt: Ein Computer verbringt einen großen Teil seiner Zeit und Energie nicht mit Rechnen, sondern mit Warten und Transportieren: Daten müssen vom Speicher zum Rechenwerk und zurück. Dieser Weg ist langsamer und teurer als die eigentliche Rechnung — und er wird im Verhältnis immer teurer. Das nennt man die Memory Wall. Sprachmodelle laufen besonders hart dagegen, weil sie für jedes erzeugte Wort riesige Datenmengen lesen, aber mit jedem gelesenen Byte nur wenig rechnen.

Was das für den Hardware-Kauf bedeutet — Speichergröße und Bandbreite vor Rechenleistung —, steht im Guide Warum kostet lokale KI so viel Hardware?. Dieser Artikel geht eine Ebene tiefer: Warum ist Daten holen überhaupt so teuer, seit wann weiß man das, und was lässt sich dagegen tun?

Ein Rechner, zwei Orte #

Fast jeder heutige Computer folgt einem Bauplan aus den 1940er-Jahren, der Von-Neumann-Architektur: Hier sitzt der Speicher, dort das Rechenwerk, und dazwischen verläuft eine Verbindung, über die alles muss — Befehle wie Daten. Solange das Rechenwerk langsam ist, fällt diese Verbindung nicht auf. Wird es schneller, steht es immer öfter still und wartet auf Nachschub. Diese eine Engstelle heißt deshalb auch Von-Neumann-Flaschenhals.

Ein Bild aus dem Alltag: Ein Koch, der blitzschnell schneidet, bringt wenig, wenn jede Zutat einzeln aus einem Keller zwei Stockwerke tiefer geholt werden muss. Ab einem gewissen Punkt macht ein schnellerer Koch die Küche nicht mehr schneller — nur ein kürzerer Weg zum Vorrat oder ein größerer Vorrat neben dem Herd.

Woher der Begriff „Memory Wall“ kommt #

Den Begriff prägten William Wulf und Sally McKee 1995. Ihr Argument: Prozessoren und DRAM werden beide exponentiell schneller, Prozessoren aber mit deutlich größerem Exponenten — und der Abstand zwischen zwei auseinanderlaufenden Exponentialkurven wächst selbst exponentiellBelegt. Irgendwann, so die Folgerung, bestimmt nur noch der Speicher das Tempo, egal wie schnell das Rechenwerk ist.

Warum das so schnell kippt, zeigt eine kleine Rechnung mit bewusst runden, angenommenen Zahlen (kein Messwert):

• Ein Zugriff auf den Cache, einen kleinen schnellen Zwischenspeicher direkt am Prozessor, dauert 1 Takt.
• Ein Zugriff auf den Arbeitsspeicher (DRAM) dauert 100 Takte.
• 99 von 100 Zugriffen landen im Cache.

Die mittlere Zugriffszeit ist dann 0,99 × 1 + 0,01 × 100 = knapp 2 Takte. Das eine Prozent Fehlgriffe kostet also genauso viel Zeit wie die 99 Prozent Treffer zusammen. Wird der Prozessor doppelt so schnell, der Speicher aber nicht, dauert derselbe DRAM-Zugriff plötzlich 200 Takte — und die mittlere Zugriffszeit steigt auf rund 3 Takte. Der schnellere Prozessor wartet schlicht mehr.

Dreißig Jahre später hat sich die Vorhersage bestätigt. Gholami et al. zeigen, dass die Spitzenrechenleistung von KI-Hardware in rund 20 Jahren um das 60.000-Fache gewachsen ist, die DRAM-Bandbreite nur um das 100-FacheBelegt. Und die Autoren betonen, dass die Memory Wall mehr ist als Bandbreite: Auch Kapazität und Latenz, also die Wartezeit bis zum ersten Byte, gehören dazu — und Latenz lässt sich noch schwerer verbessern.

Rechnen ist billig, Holen ist teuer #

Neben Zeit kostet Datenbewegung vor allem Energie. Die meistzitierten Zahlen dazu stammen aus einer Energietabelle von Mark Horowitz (Stanford) für einen 45-nm-Fertigungsprozess, die er 2014 auf der Chip-Konferenz ISSCC vorstellte. Wir geben sie so wieder, wie Han et al. sie abdrucken:

Werte laut Han et al. für einen 45-nm-CMOS-Prozess; ein Speicherzugriff kostet demnach drei Größenordnungen mehr Energie als einfache ArithmetikBelegt. Ein Pikojoule (pJ) ist ein Billionstel Joule — einzeln winzig, aber ein Sprachmodell führt solche Operationen milliardenfach pro Wort aus.

Zwei Dinge fallen an der Tabelle auf:

1. Die Kluft ist riesig. Mit der Energie eines einzigen DRAM-Zugriffs ließen sich rund 700 Gleitkomma-Additionen ausführen (640 ÷ 0,9).
2. Nähe zählt mehr als Art. Der Cache liegt auf demselben Chip und kostet 5 pJ. Der DRAM liegt einige Zentimeter entfernt und kostet 128-mal so viel. Nicht das Speichern an sich ist teuer, sondern die Strecke.

Die absoluten Werte sind über zehn Jahre alt und für heutige Fertigung zu hoch; das Muster aber hat Bestand. Sze et al. halten für Beschleuniger neuronaler Netze fest, dass DRAM pro Zugriff rund zwei Größenordnungen mehr Energie braucht als ein kleiner On-Chip-Speicher von wenigen Kilobyte, und dass Speicherzugriffe und Datenbewegung den Energieverbrauch dominierenBelegt.

Daraus erklärt sich nebenbei, warum Quantisierung doppelt wirkt. Eine 8-Bit-Ganzzahl-Addition braucht laut derselben Übersicht 30-mal weniger Energie als eine 32-Bit-Gleitkomma-Addition, und die Energie des Speichers wächst ungefähr linear mit der Zahl der BitsBelegt. Weniger Bits heißt also billigeres Rechnen und weniger Bytes auf dem teuren Weg.

Und in echten Geräten? #

Tabellenwerte sind das eine, ein ganzes System das andere. Eine Studie von Google, Carnegie Mellon und ETH Zürich hat das an einem Chromebook untersucht, mit Hardware-Zählern und einem darauf aufbauenden Energiemodell. Über Chrome, TensorFlow Mobile, Videowiedergabe und Videoaufnahme hinweg entfielen im Schnitt 62,7 Prozent der gesamten Systemenergie auf Datenbewegung zwischen Hauptspeicher und Recheneinheiten; beim Scrollen durch ein Google-Docs-Dokument waren es 77 ProzentBelegt. Das ist kein KI-Rechenzentrum, sondern ein Alltagsgerät — die Memory Wall ist kein Spezialproblem.

Warum KI-Inferenz am Speicher hängt #

Ob ein Programm vom Rechnen oder vom Speicher begrenzt wird, hängt an einer einzigen Kennzahl: der arithmetischen Intensität. Gemeint ist, wie viele Rechenoperationen ein Programm pro Byte ausführt, das es aus dem Speicher lädt. Hohe Intensität: Die Daten werden geholt und dann lange bearbeitet — das Rechenwerk ist ausgelastet. Niedrige Intensität: kaum geholt, schon wieder fertig — das Rechenwerk wartet.

Beim Erzeugen von Text ist die Intensität niedrig. Eine Überschlagsrechnung, ausdrücklich vereinfacht (nur die Gewichte, ohne KV-Cache und Aktivierungen, eine Anfrage zur Zeit):

• Jedes Gewicht wird pro Token einmal gelesen und für genau eine Multiplikation plus eine Addition genutzt — 2 Rechenoperationen.
• Bei 16 Bit pro Gewicht sind das 2 Byte, also 1 Operation pro Byte. Bei 4 Bit ein halbes Byte, also 4 Operationen pro Byte.
• Ein angenommener Beschleuniger mit 100 Billionen Operationen pro Sekunde und 1 Terabyte pro Sekunde Bandbreite bräuchte 100 Operationen pro Byte, um seine Rechenwerke voll auszulasten.

Bei einer einzelnen Anfrage bleibt ein solcher Chip rechnerisch also zu weit über 90 Prozent ungenutzt; das Tempo setzt die BandbreiteEvidenz: Theorie. Die Zahlen des Beschleunigers sind bewusst rund gewählt — das Verhältnis liegt bei realer Hardware in derselben Größenordnung, die genauen Werte stehen im jeweiligen Datenblatt.

Dass das nicht nur Theorie ist, zeigt ein Vergleich aus der Memory-Wall-Arbeit von Gholami et al.: Auf einer Intel-CPU profiliert, brauchte das Textgenerierungsmodell GPT-2 deutlich länger als BERT-Base, obwohl beide ähnlich aufgebaut sind und ähnlich viele Rechenoperationen benötigen — wegen der viel niedrigeren arithmetischen Intensität der Matrix-Vektor-Operationen beim GenerierenDemonstriert. BERT verarbeitet einen Text auf einmal (Matrix mal Matrix, jedes Gewicht wird oft wiederverwendet), GPT-2 erzeugt Wort für Wort (Matrix mal Vektor, jedes Gewicht wird einmal pro Wort geholt).

Im Rechenzentrum gibt es dagegen einen Trick: viele Anfragen gleichzeitig bearbeiten. Dann wird jedes geladene Gewicht für mehrere Nutzer verwendet, und die Intensität steigt. Im Homelab, mit einer Person am Chat, fällt dieser Hebel weitgehend weg.

Wie man Rechenleistung, Bandbreite und Intensität in einem Diagramm zusammenbringt, zeigt das sogenannte Roofline-Modell — In Vorbereitung: Roofline-Modell verständlich erklärt.

Wie die Industrie reagiert #

Es gibt nicht die Lösung, sondern eine Reihe von Ansätzen, die alle dieselbe Idee verfolgen: kürzere Wege oder breitere Straßen.

• Caches: Große, schnelle Zwischenspeicher direkt am Rechenwerk halten häufig gebrauchte Daten nah — hilft viel bei Programmen mit Wiederverwendung, wenig bei Sprachmodellen, deren Gewichte in keinen Cache passen.
• HBM (High Bandwidth Memory): Speicherchips direkt neben dem Prozessor, über sehr viele parallele Leitungen angebunden — mehr Bandbreite, aber teuer und in der Kapazität begrenzt. In Vorbereitung: HBM verständlich erklärt.
• 3D-Stacking: Speicher- und Logikschichten übereinander stapeln, damit die Wege von Zentimetern auf Mikrometer schrumpfen. In Vorbereitung.
• Near-Memory-Processing: einfache Recheneinheiten in oder direkt am Speicherbaustein. Mit dem System des Herstellers UPMEM gibt es dafür echte, öffentlich verfügbare Hardware, die Gómez-Luna et al. mit 16 Workloads vermessen habenDemonstriert. Wie viel das im Alltag bringen könnte, ist dagegen oft nur modelliert: Für die Google-Workloads errechneten Boroumand et al. im Simulator im Schnitt 55,4 Prozent weniger SystemenergieSimuliert. In Vorbereitung: Near-Memory-Computing.
• In-Memory-Computing: Die Rechnung passiert im Speicher selbst, oft analog. Stand und Prototypen ordnet die Landkarte Was kommt nach CPU und GPU? ein.

Interessant ist, dass die Natur diesen Weg längst gegangen ist: Im Gehirn liegen Speicher und Verarbeitung am selben Ort — mehr dazu in Warum braucht das Gehirn nur 20 Watt?.

Reality Check #

Stand September 2026:

• Belegt ist, dass Datenbewegung pro Operation um Größenordnungen mehr Energie kostet als Arithmetik, dass sie in realen Systemen einen großen Teil der Energie frisst und dass die Lücke zwischen Rechenleistung und Speicherbandbreite seit Jahrzehnten wächst.
• Demonstriert ist, dass Textgenerierung wegen niedriger arithmetischer Intensität vom Speicher gebremst wird, und dass rechnender Speicher als echte Hardware existiert.
• Nicht gezeigt ist, dass einer der Auswege die Memory Wall für große Sprachmodelle im Alltag auflöst. Viele Energie-Einsparungen sind simuliert, die Energietabelle stammt aus einem älteren Prozess, und neue Speichertechnik verschiebt die Wand eher, als sie einzureißen.

Was heißt das fürs eigene Homelab? #

Praktisch zuerst einmal: nichts Neues kaufen. Rechnender Speicher ist nichts, was man heute in einen Heimserver steckt. Die Memory Wall erklärt aber, worauf man bei vorhandener Hardware achten sollte:

• Bandbreite und Speichergröße schlagen Rechenleistung, solange eine Person mit dem Modell arbeitet. Wie viel Speicher ein Modell braucht und ob es in den VRAM passt, rechnet der Local-AI-Rechner durch.
• Weniger Bits sind der billigste Weg über die Wand — Details in Wie viel RAM und VRAM braucht ein LLM? und im Guide zur Quantisierung.
• Auslagern tut weh. Wenn ein Modell aus dem VRAM in den normalen Arbeitsspeicher überläuft, landet es auf dem langsameren Weg — genau das, was die Tabelle oben beschreibt.

Wie groß der Abstand zwischen theoretischer Bandbreitengrenze und realer Geschwindigkeit auf echter Hardware ist, haben wir noch nicht selbst gemessen. Das folgt im LAB — bis dahin gilt: Wer lokale KI schneller machen will, sollte zuerst fragen, wie weit die Daten reisen müssen.