Was, wenn Speicher rechnen könnte? Compute-in-Memory verständlich erklärt

Kurz gesagt: Compute-in-Memory heißt: Statt Daten aus dem Speicher zum Prozessor zu schleppen, wird direkt im oder am Speicher gerechnet. Das funktioniert heute auf echten Chips — mit SRAM, mit DRAM und mit analogen Speicherzellen. Aber jede Variante bezahlt ihren Effizienzgewinn mit etwas anderem: Genauigkeit, Flexibilität oder Programmieraufwand. Kaufbar ist davon bisher wenig, und für große Sprachmodelle ist nichts davon reif.

Warum Datenbewegung überhaupt das Problem ist, erklärt der Grundlagenartikel Ist Datenbewegung das eigentliche KI-Problem?. Hier geht es um die naheliegende Gegenidee: Wenn der Weg zum Speicher so teuer ist — warum nicht einfach dort rechnen, wo die Daten ohnehin liegen?

Die Idee: nicht die Akten holen, sondern im Archiv arbeiten #

Ein Bild aus dem Büro: Ein Sachbearbeiter soll aus 10.000 Akten die Summe einer bestimmten Spalte bilden. Klassisch lässt er sich jede Akte an den Schreibtisch bringen, liest die Zahl ab, addiert und schickt die Akte zurück. Der Botengang dauert viel länger als das Addieren. Compute-in-Memory ist der Vorschlag, dass das Archiv selbst die Summe bildet und nur das Ergebnis nach oben meldet.

In Computerbegriffen: Heutige Rechner folgen der Von-Neumann-Architektur, bei der Prozessor und Speicher getrennte Bausteine sind, verbunden über einen Bus. Beim In-Memory-Computing werden bestimmte Rechenaufgaben im Speicher selbst erledigt, indem man die physikalischen Eigenschaften der Speicherzellen ausnutzt — sowohl ladungsbasierte als auch widerstandsbasierte Speicherbausteine werden dafür erforschtBelegt.

Wichtig ist das Wort bestimmte. Ein In-Memory-Chip ersetzt keinen Prozessor. Er übernimmt eine eng umrissene, aber sehr häufige Rechenart und gibt den Rest an klassische Logik ab.

Near-Memory oder In-Memory? #

Unter dem Oberbegriff Processing-in-Memory (PIM) laufen zwei Ansätze, die sich im Detail stark unterscheiden:

• Near-Memory (Processing-near-Memory): Kleine, normale Rechenwerke sitzen sehr nah am Speicher — im Logik-Teil eines gestapelten Speicherchips oder direkt neben den Speicherbänken. Sie rechnen digital, wie ein Prozessor, nur mit kurzem Weg zu den Daten.
• In-Memory im engeren Sinn (Processing-using-Memory): Die Speicherzellen selbst erzeugen das Ergebnis, etwa indem sich Ströme mehrerer Zellen auf einer Leitung addieren.

Processing-using-Memory ist laut der Übersicht von Gómez-Luna et al. entweder auf einfache bitweise Operationen beschränkt, braucht viel zusätzliche Chipfläche für komplexere Operationen oder verlangt eine grundlegend andere Datenorganisation — und ist vor allem für regelmäßige Rechnungen effizientBelegt. Near-Memory ist flexibler, spart aber weniger Weg. Die folgenden drei Familien liegen auf dieser Skala an unterschiedlichen Stellen.

Warum ausgerechnet Matrizen? #

Neuronale Netze bestehen zum größten Teil aus einer einzigen Operation: Ein Eingabevektor wird mit einer Gewichtsmatrix multipliziert, Zeile für Zeile werden Produkte gebildet und aufsummiert (Multiply-Accumulate, kurz MAC).

Genau diese Form hat ein Speicher-Array bereits: Zeilen und Spalten von Zellen. Legt man die Eingabewerte gleichzeitig an alle Zeilen an, und jede Zelle trägt entsprechend ihrem gespeicherten Gewicht einen Strom bei, dann addieren sich diese Ströme auf der Spaltenleitung von selbst — eine komplette Spalte der Matrixmultiplikation in einem Schritt. In-Memory-Computing nutzt die strukturelle Übereinstimmung zwischen einem dichten 2D-Array von Speicherzellen und dem Datenfluss einer Matrix-Vektor-Multiplikation; statt Rohdaten Zeile für Zeile auszulesen, liest man ein über viele Zellen berechnetes ErgebnisBelegt.

Wie das im Detail funktioniert und warum Matrixmultiplikation das Herz fast jeder KI ist, bekommt einen eigenen Artikel. In Vorbereitung: Matrixmultiplikation — warum KI fast nur eine Rechenart kennt.

Familie 1: SRAM — schnell, vertraut, begrenzt #

SRAM (Static RAM) ist der Speicher, aus dem Caches und Register in jedem Prozessor bestehen: schnell, in normaler Chipfertigung herstellbar, aber teuer pro Bit. Das macht ihn zum naheliegenden Startpunkt.

Analog: Bei der analogen SRAM-Variante werden viele Zeilen gleichzeitig aktiviert, und die Ladungen oder Ströme der Zellen summieren sich auf der Spaltenleitung. Der Haken steckt in der Physik: Je mehr Zellen zu einer Summe beitragen, desto größer wird der Wertebereich, der in denselben Spannungshub passen muss — das Signal-Rausch-Verhältnis sinkt. Gewinne bei Bandbreite, Latenz und Energie werden also mit Genauigkeit bezahltBelegt.

Digital: Die Alternative behält die digitale Logik bei und baut Addierer und Multiplizierer direkt in das Speicherfeld ein. Das kostet Fläche, aber das Ergebnis ist exakt. Ein 2021 auf der ISSCC vorgestellter Makro-Baustein in 22-nm-Technik rechnet komplett digital im SRAM; die Autoren begründen den Weg damit, dass analoge Ansätze wegen des niedrigen Signal-Rausch-Verhältnisses für Anwendungen mit hohen Genauigkeitsanforderungen ungeeignet sein könnenDemonstriert.

Die Grenze beider SRAM-Varianten ist die Kapazität: SRAM-Zellen sind groß. In einen Chip passen Megabytes, nicht Gigabytes. Für kleine Modelle auf Sensoren oder Mikrocontrollern reicht das, für ein Sprachmodell nicht.

Familie 2: DRAM — Rechenkerne im Arbeitsspeicher #

DRAM ist der normale Arbeitsspeicher: dicht und günstig pro Bit, aber in einer Fertigung hergestellt, die für Speicher und nicht für schnelle Logik optimiert ist. Hier setzen die ersten kommerziell verfügbaren PIM-Produkte an — und sie gehören technisch eher zur Near-Memory-Seite.

UPMEM: die bisher gründlichste unabhängige Messung #

Die französische Firma UPMEM baut DRAM-Module, bei denen neben jeder Speicherbank ein kleiner Prozessorkern sitzt (DPU, DRAM Processing Unit). Eine Gruppe um Juan Gómez-Luna und Onur Mutlu an der ETH Zürich hat diese Module mit 16 eigenen Benchmarks systematisch vermessen; die Arbeit erschien 2022 in IEEE Access.

• Ein System mit 2.556 DPUs war über alle 16 Benchmarks gemittelt 23,2-mal schneller als eine moderne Intel-Xeon-CPU; gegenüber einer modernen GPU war es in 10 von 16 Benchmarks schneller, im Mittel um den Faktor 2,54Belegt.
• Die Einschränkung ist genauso wichtig: Die DPUs beherrschen nativ nur Ganzzahl-Addition, -Subtraktion und bitweise Operationen. Multiplikation, Division und Gleitkomma laufen als Software-Routinen, mit um eine Größenordnung geringerem Durchsatz; zudem gibt es keinen direkten Kommunikationskanal zwischen den DPUsBelegt.

Die Autoren fassen es selbst so zusammen: Am besten passen speicherlastige Aufgaben mit einfacher Arithmetik und wenig Austausch zwischen den Kernen. Man denke an Durchsuchen, Filtern oder Aufsummieren großer Datenmengen. Neuronale Netze mit Gleitkomma-Gewichten sind auf dieser Hardware gerade kein Paradebeispiel.

Samsung HBM-PIM: Herstellerzahlen ohne unabhängige Prüfung #

Samsung hat 2021 eine Variante seines gestapelten Grafikspeichers (HBM) vorgestellt, in dessen Speicherbänke Rechenwerke für KI eingebaut sind. Laut Samsung sitzt in jeder Speicherbank eine für DRAM optimierte KI-Einheit; das System soll mehr als die doppelte Leistung bei über 70 Prozent weniger Energieverbrauch liefern, ohne Hardware- oder Softwareänderungen zu erfordernHerstellerangabe. Eine unabhängige Untersuchung mit ähnlicher Tiefe wie bei UPMEM haben wir nicht gefunden. Die Aussage „keine Softwareänderungen“ steht zudem in Spannung zu dem, was die UPMEM-Studie über die nötige Umstellung beim Programmieren berichtet — für die HBM-PIM-Hardware selbst ist das damit aber weder bestätigt noch widerlegt.

Familie 3: analog mit nichtflüchtigen Zellen #

Die radikalste Variante speichert Gewichte nicht als Bits, sondern als physikalischen Wert einer Zelle — meist als elektrischen Widerstand. Geeignet sind nichtflüchtige Speicher, die ihren Zustand ohne Strom behalten: Phase-Change Memory (PCM), resistiver Speicher (RRAM) oder Flash. Beim Auslesen wird die Multiplikation zur Physik: Spannung mal Leitwert ergibt einen Strom (Ohmsches Gesetz), und die Ströme einer Spalte addieren sich (Kirchhoffsche Regel). Das Gewicht muss dafür nie bewegt werden.

Die am besten dokumentierten Prototypen stammen von IBM Research und nutzen PCM — ein Material, das zwischen einem geordneten und einem ungeordneten Zustand wechseln kann und dabei seinen Widerstand ändert.

• Ein 14-nm-Chip mit 64 analogen Rechenkernen erreichte bei ResNet- und LSTM-Netzen nahezu die Genauigkeit der SoftwareDemonstriert. Aufschlussreich ist die Doppelangabe: Im genaueren Vier-Phasen-Lesemodus schafft der Chip bei 8-Bit-Matrix-Vektor- Multiplikationen maximal 16,1 TOPS bei 2,48 TOPS pro Watt, im weniger genauen Ein-Phasen-Modus 63,1 TOPS bei 9,76 TOPS pro WattDemonstriert. Genauigkeit kostet also direkt Effizienz — rund Faktor vier.
• Ein zweiter Chip mit 35 Millionen PCM-Zellen auf 34 Kacheln rechnete ein Spracherkennungsmodell mit mehr als 45 Millionen Gewichten, verteilt auf über 140 Millionen PCM-Zellen und fünf Chips, mit nahezu Software-GenauigkeitDemonstriert.

Die Einordnung dieser Chips in die größere Landkarte steht im Überblick Was kommt nach CPU und GPU?. Die Bauelemente selbst — PCM, RRAM und die Frage, was ein Memristor eigentlich ist — bekommen einen eigenen Artikel. In Vorbereitung: Memristoren erklärt.

Das Prinzip, Speicher und Verarbeitung am selben Ort zu haben, erinnert nicht zufällig ans Gehirn, wo Synapsen beides zugleich sind. Warum das dort so sparsam funktioniert, erklärt Warum braucht das Gehirn nur 20 Watt?.

Die drei Familien im Vergleich #

Wo es hakt #

Die Prototypen zeigen, dass das Prinzip funktioniert. Die Probleme liegen dort, wo aus einem Demonstrator ein nützliches System werden müsste.

Präzision. Analoge Rechnung ist nie exakt. Das SRAM-Beispiel oben und die Doppelangabe des IBM-Chips zeigen dieselbe Abwägung aus zwei Richtungen: mehr Genauigkeit, weniger Effizienzvorsprung. Neuronale Netze vertragen einiges an Ungenauigkeit — aber nicht beliebig viel, und nicht jede Schicht gleich gut. Im IBM-Spracherkennungschip wurde ein besonders empfindlicher Teil des Netzes deshalb gar nicht analog gerechnet, und das kleinere Testnetz wurde mit simuliertem Rauschen nachtrainiert, um robuster zu werdenDemonstriert.

Variabilität und Drift. Keine zwei Speicherzellen verhalten sich exakt gleich, und PCM-Zellen verändern ihren Widerstand mit der Zeit. Der Effekt ist messbar, aber beherrschbar: Nach einer Woche Drift ohne Neukalibrierung stieg die Wortfehlerrate des großen Spracherkennungsmodells von 9,475 auf 9,894 ProzentDemonstriert.

Umwandlung zurück ins Digitale. Das analoge Ergebnis muss irgendwann wieder eine Zahl werden. Dafür braucht es Analog-Digital-Wandler (ADC), und die sind teuer. In gezeigten Systemen dominiert die Ausleseschaltung bereits Energie und Fläche; bei RRAM und MRAM mit ihrem geringen Widerstandskontrast verschärft sich das nochBelegt. IBM umgeht klassische ADCs im Spracherkennungschip mit einer zeitbasierten Kodierung — ein Hinweis, wie zentral dieses Problem ist.

Programmierbarkeit. Ein Chip, auf dem nur eine Rechenart schnell ist, braucht Compiler und Laufzeitsoftware, die entscheiden, was wohin gehört. Nichtflüchtige Zellen vertragen zudem oft nur begrenzt viele Schreibzyklen, was das flexible Umbelegen der Hardware für wechselnde Aufgaben erschwertBelegt. Ein In-Memory-Chip eignet sich deshalb für feste Gewichte (Inferenz), weniger fürs Training und schlecht für ständig wechselnde Modelle.

Kapazität. Eine Rechnung zur Größenordnung, kein Messwert: Der IBM-Spracherkennungschip verteilte gut 45 Millionen Gewichte auf fünf Chips. Ein kleines lokales Sprachmodell mit 8 Milliarden Gewichten hat rund 180-mal so viele. Selbst bei großem Fortschritt ist der Abstand erheblich.

Reality Check #

Stand September 2026:

• Belegt bzw. demonstriert: Compute-in-Memory funktioniert auf echtem Silizium in allen drei Familien. Analoge PCM-Chips erreichen bei kleinen bis mittleren Netzen nahezu Software-Genauigkeit. DRAM-PIM ist als Produkt erhältlich und in einer unabhängigen Studie für passende, speicherlastige Aufgaben klar schneller als eine CPU.
• Nur Herstellerangabe: die Leistungs- und Energiezahlen zu Samsungs HBM-PIM.
• Nicht gezeigt: ein Compute-in-Memory-System, das ein großes Sprachmodell vollständig und mit Software-Genauigkeit ausführt. Die IBM-Autoren schreiben selbst, dass ihrem Chip die digitalen Rechenkerne und der SRAM-Speicher fehlen, die ein marktreifes Produkt bräuchteDemonstriert.

Realistisch erscheint zunächst eine Arbeitsteilung: In-Memory-Bausteine übernehmen die Matrix-Vektor-Multiplikationen mit festen Gewichten, digitale Logik den RestEvidenz: Theorie — genau diese Kombination bauen die neueren Prototypen bereits ein.

Was heißt das fürs eigene Homelab? #

Ehrlich: noch nichts zum Kaufen. UPMEM-Module sind für Server gedacht und passen zu Datenbank- und Suchaufgaben, nicht zu lokalen Sprachmodellen. Analoge In-Memory-Chips gibt es nicht im Handel.

Was bleibt, ist ein besseres Verständnis dafür, woran lokale KI heute hängt. Die Geschwindigkeit beim Textgenerieren wird vor allem davon begrenzt, wie schnell der Speicher die Gewichte liefert — das zeigt der Guide Tokens pro Sekunde verstehen. Der Hebel, den man heute selbst in der Hand hat, ist derselbe, an dem auch Compute-in-Memory ansetzt: weniger Daten bewegen. Praktisch heißt das Quantisierung und eine Grafikkarte oder ein System mit möglichst viel schnellem Speicher. Und bei neuen Ankündigungen hilft eine einfache Frage: Ist das ein Produkt, ein Prototyp oder eine Herstellerzahl?