Warum sitzt der Speicher direkt neben der GPU? HBM verständlich erklärt

Kurz gesagt: HBM (High Bandwidth Memory) ist Arbeitsspeicher, der nicht auf der Grafikkarten-Platine verteilt liegt, sondern als Turm aus mehreren gestapelten DRAM-Chips direkt neben dem Prozessor sitzt — im selben Gehäuse. Statt wenige Leitungen sehr schnell zu takten, nutzt HBM sehr viele Leitungen mit moderatem Takt. Das bringt enorme Bandbreite pro Watt, ist aber aufwendig zu fertigen, teuer und derzeit knapp. Deshalb steckt HBM in Rechenzentrums-GPUs, nicht in aktuellen Grafikkarten für zu Hause.

Warum Bandbreite für KI überhaupt so wichtig ist, erklären zwei andere Artikel: Ist Datenbewegung das eigentliche KI-Problem? für das Grundprinzip und Warum kostet lokale KI so viel Hardware? für die Folgen beim Kauf. Hier geht es um die Hardware-Antwort, die die Industrie darauf gefunden hat.

Zwei Wege zu mehr Bandbreite: schneller oder breiter #

Bandbreite ist, wie viele Daten pro Sekunde vom Speicher zum Rechenwerk fließen. Man kann sie auf zwei Arten erhöhen: jede Leitung schneller takten — oder mehr Leitungen nebeneinanderlegen. Die Rechnung ist in beiden Fällen dieselbe:

Bandbreite (GB/s) = Busbreite (Bit) × Datenrate pro Leitung (Gbit/s) ÷ 8

GDDR (Graphics Double Data Rate), der Speicher auf Gaming-Grafikkarten, geht den ersten Weg. Die Speicherchips sitzen rund um den Grafikprozessor auf der Platine, verbunden über Leiterbahnen. Die RTX 4090 hat laut NVIDIA 24 GB GDDR6X an einem 384 Bit breiten Bus mit 21 Gbit/s pro Leitung und 1.008 GB/s BandbreiteHerstellerangabe. Nachgerechnet: 384 × 21 ÷ 8 = 1.008 — die Angabe ist schlicht dieses Produkt. Die nächste Generation GDDR7 soll laut Micron bis zu 32 Gbit/s pro Leitung schaffen, an einem 384-Bit-Bus zusammen mehr als 1,5 TB/sHerstellerangabe.

HBM geht den zweiten Weg. Der JEDEC-Standard HBM3 (JESD238) definiert bis zu 6,4 Gbit/s pro Leitung, was 819 GB/s pro Speicherstapel entsprichtBelegt. Pro Leitung ist das nicht einmal ein Drittel dessen, was GDDR6X in der 4090 schafft. Dass trotzdem mehr herauskommt, liegt an der Breite: Ein HBM-Stapel hat 1.024 Datenleitungen. Micron nennt für seinen HBM3E-Stapel 1.024 IO-Pins, mehr als 9,2 Gbit/s pro Pin und mehr als 1,2 TB/s pro StapelHerstellerangabe. Zur Kontrolle: 1.024 × 6,4 ÷ 8 ergibt die 819 GB/s aus dem Standard.

Ein Vergleich, der die beiden Philosophien nebeneinanderstellt (alle Zahlen Herstellerangaben bzw. daraus gerechnet):

Die H100 SXM5 hat laut NVIDIA fünf HBM3-Stapel an zehn Speichercontrollern mit je 512 BitHerstellerangabe — zusammen also 5.120 Bit, gut dreizehnmal so breit wie bei der 4090. Als Bandbreite nennt NVIDIA auf der Produktseite 3,35 TB/s bei 80 GB SpeicherHerstellerangabe; daraus ergibt sich zurückgerechnet eine Datenrate von rund 5,2 Gbit/s pro Leitung. Langsamer pro Leitung, aber viel breiter — das ist HBM in einem Satz.

Warum so breit nur geht, wenn der Speicher ganz nah sitzt #

Über 5.000 Datenleitungen lassen sich nicht quer über eine Platine ziehen: Kupferbahnen auf einer Leiterplatte brauchen Platz, und jede lange Leitung kostet Energie beim Umladen. HBM löst das mit drei Bauteilen:

1. Gestapelte DRAM-Chips. Mehrere dünn geschliffene Speicherchips liegen übereinander. HBM3 sieht Stapel mit 4, 8 und 12 Lagen vor, mit Option auf 16, und Kapazitäten von 4 bis 64 GB pro StapelBelegt. Micron bietet HBM3E mit 8 Lagen und 24 GB sowie mit 12 Lagen und 36 GB anHerstellerangabe.
2. TSVs (Through-Silicon Vias). Das sind senkrechte, metallgefüllte Kanäle, die durch das Silizium der Chips hindurchführen und die Lagen miteinander verbinden. Die Daten laufen innerhalb eines DRAM-Chips zu einem mittleren Streifen, dann über TSVs hinunter in eine Basisschicht und von dort zu winzigen Lötkontakten, die den Stapel mit der GPU verbindenBelegt.
3. Interposer. Ein Stück Silizium, auf dem GPU und Speicherstapel nebeneinander sitzen. Weil darauf Leiterbahnen so fein wie auf einem Chip möglich sind, passen die tausenden Verbindungen auf wenige Millimeter. Weil die Chips nebeneinander statt übereinander auf dem Interposer liegen, nennt man das oft 2.5D-Packaging — halb flach, halb gestapelt.

Der kurze Weg spart Energie. Laut O'Connor et al. (NVIDIA Research) konnten GPUs mit HBM2 sich einem Terabyte pro Sekunde nähern, bei ähnlicher Leistungsaufnahme wie frühere GPUs mit GDDR5, die weniger als die Hälfte der Bandbreite hattenBelegt.

Interessant ist, wo die Energie danach noch hingeht. In ihrem Energiemodell kostet ein HBM2-Zugriff rund 3,9 Pikojoule pro Bit; davon entfallen rund 2,2 auf den Weg innerhalb des Speicherchips bis zu den Anschlüssen, nur rund 0,3 auf die Strecke über den InterposerSimuliert. Das heißt: HBM hat den Weg zwischen den Chips fast kostenlos gemacht — jetzt dominiert der Transport im Speicherchip selbst. Genau dort setzen Ideen wie Compute-in-Memory an.

Warum HBM teuer und knapp ist #

Konkrete Preise pro Gigabyte veröffentlichen die Hersteller nicht, und belastbare unabhängige Zahlen haben wir nicht gefunden. Was sich sagen lässt:

• Ausgelegt auf Bandbreite, nicht auf Preis. GPU-Speicher wird laut O'Connor et al. in erster Linie auf maximale Bandbreite optimiert, nicht auf minimale Kosten pro BitBelegt.
• Mehr Fertigungsschritte. Jeder Stapel braucht dünn geschliffene Chips, TSVs, das Verbinden der Lagen, einen Interposer und die Montage mit der GPU. Jeder Schritt kann Ausschuss erzeugen, und ein fehlerhafter Chip in einem fertigen Stapel ist schwer zu ersetzenEvidenz: Theorie. Konkrete Ausbeute-Zahlen dazu sind nicht öffentlich belegt.
• Nachfrage größer als Angebot. SK hynix beschreibt im Juli 2026 ein Marktumfeld, in dem die Kundennachfrage die Lieferfähigkeit übersteigt, und hat nach eigener Aussage mit rund zehn Kunden langfristige Lieferverträge geschlossenHerstellerangabe.
• Engpass beim Packaging. TSMC-Chef C. C. Wei sagte im Oktober 2025 über alles, was mit KI zu tun hat, die Kapazität sei im Front-End wie im Back-End — also bei Chipfertigung und Packaging — „very tight“Herstellerangabe.

Für den Homelab-Alltag heißt das: HBM-Hardware wird nicht in absehbarer Zeit auf dem Gebrauchtmarkt billig, solange Rechenzentren jeden Stapel abnehmen.

Wie viel HBM steckt in aktuellen Datacenter-GPUs? #

Nur Herstellerangaben, zur Einordnung der Größenordnung:

• H100 SXM: 80 GB, 3,35 TB/s; H100 NVL: 94 GB, 3,9 TB/sHerstellerangabe
• H200: 141 GB HBM3e, 4,8 TB/sHerstellerangabe
• DGX B200: acht Blackwell-GPUs mit zusammen 1.440 GB und 64 TB/s HBM3e-BandbreiteHerstellerangabe — rechnerisch 180 GB und 8 TB/s pro GPU.

Von H100 zu B200 hat sich die Bandbreite pro GPU laut diesen Angaben mehr als verdoppelt. Warum das für KI so zählt: Beim Erzeugen von Text muss für jedes Token ein Großteil der Modellgewichte gelesen werden — die Einzelheiten stehen im Artikel zur Memory Wall.

Reality Check #

Stand September 2026:

• Belegt: der Aufbau (gestapelte DRAM-Chips, TSVs, Interposer) und der Grundgedanke „breit statt schnell“; die Eckdaten des HBM3-Standards; der Energievorteil gegenüber GDDR5 aus der NVIDIA-Forschung.
• Nur modelliert: die Aufteilung der Zugriffsenergie innerhalb von HBM2.
• Herstellerangaben: alle Bandbreiten und Kapazitäten konkreter Produkte sowie die Aussagen zu Knappheit.
• Nicht belegt: konkrete Preise, Aufpreise gegenüber GDDR und Ausbeute-Zahlen. Wer hier Prozentwerte liest, sollte nach der Quelle fragen.

HBM ist keine neue Rechnerarchitektur, sondern eine Verpackungsfrage: Der Speicher rückt näher an den Prozessor, die Rechnung bleibt dieselbe. In der Landkarte Was kommt nach CPU und GPU? steht HBM deshalb auf der Seite der Lösungen, die man heute kaufen kann.

Was heißt das fürs eigene Homelab? #

Direkt erst einmal wenig: Zu Hause arbeitet man mit GDDR auf der Grafikkarte oder mit dem gemeinsamen Speicher eines SoC. Auch NVIDIAs aktuelles GeForce-Topmodell RTX 5090 setzt laut NVIDIA auf 32 GB GDDR7 an einem 512-Bit-BusHerstellerangabe — breiter als die 4090, aber weit entfernt von den 5.120 Bit einer H100. Apple nennt für den M4 Max bis zu 128 GB gemeinsamen Speicher mit bis zu 546 GB/sHerstellerangabe — welcher DRAM-Typ genau verbaut ist, sagt Apple in dieser Mitteilung nicht. Im Vergleich: rund halb so viel Bandbreite wie die RTX 4090, aber mehr als fünfmal so viel Platz.

Die Rechnung aus diesem Artikel hilft trotzdem beim Einordnen:

• Busbreite × Datenrate ÷ 8 — damit lässt sich jede Bandbreitenangabe im Datenblatt nachvollziehen, auch bei Grafikkarten.
• Bandbreite ist die Decke fürs Tempo, Kapazität die Grenze fürs Modell. Wie viel Speicher ein Modell braucht und ob es in deine Karte passt, rechnet der Local-AI-Rechner aus; die Details zum Speicherbedarf stehen in Wie viel RAM und VRAM braucht ein LLM?.

Ehrliche Antwort also: HBM ändert fürs eigene Homelab heute nichts. Es erklärt aber, woher der Bandbreiten-Vorsprung von Rechenzentrums-GPUs kommt — und warum er so viel kostet.