Was ist eine NPU – und braucht mein Rechner eine? Der KI-Beschleuniger nüchtern erklärt

Kurz gesagt: Eine NPU (Neural Processing Unit) ist ein Rechenwerk, das fast nur eines kann: die Multiplikationen neuronaler Netze, meist mit niedriger Zahlengenauigkeit wie 8-Bit-Ganzzahlen, und das bei wenig Strom. Heute nutzt sie vor allem das Betriebssystem, etwa für Kamera- und Audioeffekte. Für lokale Sprachmodelle ist sie bislang eher Nebendarstellerin, weil dort der Speicher bremst, nicht die Rechenleistung. Wegen einer NPU allein muss niemand einen neuen Rechner kaufen.

Wer in letzter Zeit ein Notebook gekauft hat, findet im Datenblatt eine neue Zeile: „NPU, 40+ TOPS“ oder ähnlich. Im Windows-Task-Manager taucht ein eigener Graph dafür auf, unter Linux ein Gerät unter /dev/accel/. Warum Hersteller überhaupt so viele Spezialisten auf einen Chip packen, bekommt einen eigenen Artikel (In Vorbereitung: Warum stecken CPU, GPU und NPU in einem Chip?). Hier geht es um die praktische Frage: Was bringt dir dieser eine Baustein?

Was eine NPU eigentlich rechnet #

Ein neuronales Netz besteht beim Ausführen (der Inferenz) zum großen Teil aus Matrixmultiplikationen: sehr viele Eingangswerte mal sehr viele Gewichte, aufsummiert. Das sind immer dieselben einfachen Schritte, nur millionenfach. Eine NPU ist auf genau dieses Muster gebaut. Sie besteht typischerweise aus vielen kleinen Recheneinheiten mit eigenem, lokalem Speicher, die Datenblöcke nacheinander abarbeiten.

Wie das konkret aussieht, beschreibt die Linux-Kernel-Dokumentation für AMDs NPU: ein zweidimensionales Feld aus Rechen- und Speicherkacheln, in dem jede Rechenkachel einen eigenen Prozessor mit eigenem Programm- und Datenspeicher hat; als gemeinsamer Zwischenspeicher dienen je nach Generation 2.560 KB oder 4.096 KBBelegt. Kein Cache im klassischen Sinn, der rät, was als Nächstes gebraucht wird, sondern ein Aufbau, bei dem die Software die Daten gezielt dorthin schiebt, wo gerechnet wird.

Der zweite Trick ist die niedrige Genauigkeit. Ein Modell wird normalerweise mit 32- oder 16-Bit-Gleitkommazahlen trainiert. Für die Inferenz reichen oft 8-Bit-Ganzzahlen (INT8). Jacob et al. zeigten ein Verfahren, mit dem Inferenz ausschließlich mit Ganzzahl-Arithmetik läuft, was sich effizienter umsetzen lässt als Gleitkomma-Inferenz, und das die Genauigkeit durch angepasstes Training weitgehend erhältBelegt. Für Hardware heißt das: kleinere Rechenwerke, weniger Strom pro Operation, weniger Daten zu bewegen.

Das hat eine Kehrseite. Microsoft schreibt in der Entwicklerdoku, dass viele NPUs nur Ganzzahl-Arithmetik in niedriger Bitbreite wie INT8 unterstützen und Modelle deshalb erst umgewandelt („quantisiert“) werden müssenHerstellerangabe. Ein beliebiges Modell von Hugging Face läuft also nicht automatisch auf der NPU. Das Prinzip kennt man von lokalen LLMs: Auch dort spart Quantisierung Speicher (siehe Quantisierung und GGUF), nur dass die NPU oft ganz bestimmte Formate verlangt.

NPU, GPU, CPU: die Kurzfassung #

Die Tabelle ist eine grobe Einordnung, keine Messung. Der wichtigste Unterschied für Homelabber steht in der dritten Zeile — dazu gleich mehr.

Wofür die NPU heute wirklich arbeitet #

Der größte Nutzer ist derzeit Windows selbst. Microsoft beschreibt Copilot+ PCs als Windows-11-Geräte mit einer NPU, die mehr als 40 Billionen Operationen pro Sekunde schafft, und nennt als Beispiele Echtzeit-Übersetzung und Bilderzeugung; viele der neuen KI-Funktionen setzen diese 40+ TOPS vorausHerstellerangabe.

Ein greifbares Beispiel sind Videokonferenzen. Windows Studio Effects bietet unter anderem automatische Bildausrichtung, Hintergrundunschärfe, Blickkorrektur („Eye contact“) und Stimmfokussierung; auf Geräten mit weniger als 40 TOPS steht laut Microsoft nur ein Teil davon zur VerfügungHerstellerangabe. Das zeigt das typische Einsatzprofil: kleine Modelle, die stundenlang nebenher laufen. Genau da lohnt sich ein sparsamer Spezialist, weil CPU und GPU frei und der Akku voll bleiben.

Was TOPS bedeutet und warum die Zahl wenig vergleicht #

TOPS steht für Tera Operations per Second, also Billionen Operationen pro Sekunde. Es ist ein theoretischer Spitzenwert: alle Rechenwerke voll beschäftigt, keine Wartezeit auf Daten. Zwei Stellschrauben verändern ihn massiv, ohne dass der Chip schneller wird:

1. Das Zahlenformat. Eine Operation mit 4-Bit-Zahlen ist billiger als eine mit 16 Bit, also meldet derselbe Chip mehr TOPS, je kleiner das Format.
2. Sparsity. Manche Hardware überspringt Multiplikationen mit Null, wenn das Modell in einem bestimmten Muster „ausgedünnt“ ist. Die eingesparten Operationen werden dann als „effektive“ Operationen mitgezählt.

Wie groß der Effekt ist, zeigt ein Datenblatt, das beides sauber ausweist: NVIDIA nennt für die RTX 4090 bei Tensor-Operationen rund 165 TFLOPS für FP16 (mit FP32-Akkumulation), 661 TOPS für INT8 und 1.321 TOPS für INT4 — jeweils ohne Sparsity; mit Sparsity verdoppeln sich die Werte, bei INT4 auf 2.642Herstellerangabe. Als Rechnung: 2.642 ÷ 165 ≈ 16. Dieselbe Karte, derselbe Takt, ein Faktor 16 in der Werbezahl, je nachdem, welche Zeile man zitiert.

Eine NPU-Angabe wie „45 TOPS“ ist deshalb nur vergleichbar, wenn Zahlenformat und Sparsity-Annahme dabeistehen — und selbst dann sagt sie nichts darüber, ob der Speicher die Rechenwerke überhaupt auslasten kann.Evidenz: Theorie Ein eigener Artikel zu TOPS und FLOPS ist in Vorbereitung. Bis dahin: TOPS eignen sich als grobe Eintrittskarte („reicht für Copilot+“), nicht als Leistungsvergleich zwischen Herstellern.

Warum die NPU bei lokalen LLMs selten die Hauptrolle spielt #

Hier kommt die dritte Tabellenzeile ins Spiel. Beim Erzeugen von Text muss ein Sprachmodell für jedes Token praktisch alle Gewichte einmal aus dem Speicher lesen. Die Rechenwerke warten dabei meist auf Daten; das Tempo setzt die Speicherbandbreite. Die Herleitung steht in Warum kostet lokale KI so viel Hardware?

Eine Notebook-NPU hat keinen eigenen großen Speicher. Die AMD-NPU bewegt Daten über eigene DMA-Engines zwischen Hauptspeicher und ihren lokalen Speicherkacheln Belegt — sie liest also aus demselben Arbeitsspeicher wie CPU und integrierte Grafik, über dieselbe Leitung. Ein Rechenbeispiel: Ein 8B-Modell in 4 Bit belegt mehrere Gigabyte, der gemeinsame Zwischenspeicher der AMD-NPU hat höchstens 4 MB. Selbst 4 GB wären das Tausendfache davon. Das Modell muss also für jedes Token aus dem RAM nachgeladen werden, und dann bremst dieselbe Bandbreite wie bei der CPU.

Mehr TOPS helfen deshalb vor allem dort, wo wirklich gerechnet wird: beim Einlesen langer Eingaben (Prefill), nicht beim Token-für-Token-Schreiben.Evidenz: Theorie Den Unterschied zwischen beiden Phasen erklärt Tokens pro Sekunde: Was der Wert bei lokalen LLMs wirklich bedeutet. Der realistische Vorteil einer NPU ist eher: gleiches Tempo bei weniger Watt und freier GPU. Das ist eine Einschätzung aus dem Aufbau, keine Messung. Eigene Werte haben wir dazu noch nicht.

Die Software entscheidet, ob die NPU überhaupt mitmacht #

Selbst wenn die Hardware passt, braucht jedes Programm einen eigenen Pfad zur NPU. Der verbreitetste Weg unter Windows führt über ONNX Runtime, eine Laufzeitumgebung für KI-Modelle im ONNX-Format. ONNX Runtime bindet Hardware über sogenannte Execution Providers an, darunter Qualcomm QNN für Qualcomm-NPUs, OpenVINO für Intel und RKNPU für Rockchip-NPUsBelegt. Windows ML wählt laut Microsoft den passenden Provider automatisch und fällt auf GPU oder CPU zurück, wenn er nicht verfügbar istHerstellerangabe. Dieser stille Rückfall ist bequem, heißt aber auch: Man sieht einer App nicht an, ob sie wirklich auf der NPU läuft.

Für Sprachmodelle gibt es inzwischen NPU-Pfade der Chiphersteller, mit Auflagen:

• Intel: OpenVINO GenAI führt LLMs auf der NPU aus, wenn sie mit symmetrischer 4-Bit-Gewichtskompression exportiert wurden; die maximale Eingabelänge ist standardmäßig auf 1.024 Tokens gesetzt und lässt sich per Parameter anhebenBelegt.
• AMD: Die Ryzen AI Software soll CNN-, Transformer- und LLM-Modelle auf der NPU und der integrierten GPU ausführen, mit INT8-Quantisierung oder intern nach BF16 umgewandelten ModellenHerstellerangabe.
• llama.cpp: Das Projekt listet ein OpenVINO-Backend für Intel-CPUs, -GPUs und -NPUs, als noch in Arbeit markiert; auf der NPU wird vor allem das Format Q4_0 unterstützt, und die Doku empfiehlt, die Kontextlänge dort ausdrücklich klein zu setzenBelegt. Die dort gezeigte Modell-Tabelle wurde auf einem Lunar-Lake-Notebook geprüft, nicht auf beliebiger Intel-Hardware.
• Ollama: Die Hardware-Doku nennt NVIDIA, AMD über ROCm, Apple Metal und Vulkan — also GPUsBelegt. Ryzen-AI-Prozessoren stehen dort in der Liste der AMD-GPUs, gemeint ist die integrierte Grafik, nicht die NPU. Einen NPU-Pfad dokumentiert Ollama nicht.

Stand unter Linux und im Homelab #

Die Kernel-Seite ist weiter als die Anwendungsseite. Linux hat für Rechenbeschleuniger ein eigenes Subsystem mit Geräten unter /dev/accel/ (Hintergrund folgt im Artikel zu heterogenen Chips). Drei Beispiele, die für Homelabs interessant sind:

• Intel Core Ultra: Intel beschreibt den Treiberstapel als Kernelmodul intel_vpu im Kernel-Baum drivers/accel, darüber Level Zero, einen NPU-Compiler und OpenVINO mit NPU-Plugin; das Gerät erscheint als /dev/accel/accel0Belegt.
• AMD Ryzen AI: Der Kerneltreiber amdxdna ist in der offiziellen Kernel-Doku beschriebenBelegt, inklusive der Kachel-Architektur oben.
• Rockchip RK3588 (verbreitet in Einplatinenrechnern): Der Kerneltreiber rocket unterstützt die NPU unter anderem des RK3588 und übernimmt nur Energieverwaltung, Speicher und Job-Übergabe; alles Weitere erledigt ein Gallium-Treiber im Mesa-ProjektBelegt.

Treiber im Kernel heißt aber nur: Der Beschleuniger ist ansprechbar. Nutzen entsteht erst, wenn die Anwendung, die du betreibst, einen Pfad dorthin hat. Für die typischen Homelab-Werkzeuge rund um lokale LLMs ist das Stand heute die Ausnahme, nicht die Regel.

Reality Check (Stand: September 2026) #

• Belegt: NPUs sind auf Inferenz mit niedriger Genauigkeit spezialisiert; Linux hat Kerneltreiber für NPUs von Intel, AMD und Rockchip; es gibt dokumentierte LLM-Pfade für Intel-NPUs mit Formatauflagen.
• Herstellerangaben: TOPS-Werte, die 40-TOPS-Schwelle für Copilot+ und die Effizienzvorteile gegenüber CPU und GPU.
• Theorie: dass NPUs bei LLMs vor allem beim Prefill und beim Stromverbrauch helfen, nicht beim Tempo der Textausgabe. Unabhängige Messungen dazu haben wir nicht ausgewertet.
• Offen: ob Ollama und Co. NPUs künftig so selbstverständlich nutzen wie GPUs.

Braucht mein Rechner eine NPU? #

• Für Windows-Komfortfunktionen (Studio Effects, Copilot+-Features): ja, dort ist die NPU Voraussetzung.
• Für lokale LLMs im Homelab: nein. Wer Modelle mit Ollama betreiben will (Einstieg: Ollama einrichten), kauft nach Speichergröße und Bandbreite. Was ein Modell braucht, zeigt der Local-AI-Rechner.
• Wenn sie schon da ist: Unter Linux mit ls /dev/accel/ nachsehen, ob der Kernel sie erkannt hat, und mit OpenVINO oder dem llama.cpp-Backend experimentieren. Neugier ja, Kaufgrund nein.

Einen eigenen NPU-Test im LAB haben wir noch nicht gemacht. Wenn er kommt, interessieren uns vor allem zwei Zahlen: Watt an der Steckdose und Tokens pro Sekunde im Vergleich zur integrierten Grafik desselben Chips. Wie sich neue Architekturen jenseits von NPUs einordnen, sortiert Was kommt nach CPU und GPU?