Training oder Inferenz: Was kostet langfristig mehr Energie? Der Break-even erklärt

Kurz gesagt: Ein einzelnes Training kostet viel mehr Energie als eine einzelne Anfrage – aber ein Modell wird einmal trainiert und danach womöglich milliardenfach genutzt. Ab wann die Nutzung (Inferenz) das Training einholt, lässt sich als einfache Division ausrechnen. Die wenigen veröffentlichten Zahlen großer Betreiber sehen Inferenz bereits beim größeren oder ähnlich großen Anteil. Im Homelab ist die Frage schnell beantwortet: Dort gibt es praktisch nur Inferenz.

Die Frage klingt nach einer einzigen Zahl, ist aber eine Rechnung mit zwei Unbekannten: Wie viel hat das Training gekostet, und wie oft wird das Modell danach benutzt? Die erste Zahl veröffentlichen die meisten Anbieter nicht, die zweite ändert sich jeden Tag. Deshalb lohnt es sich, die Denkweise zu verstehen, statt nach der einen Prozentzahl zu suchen.

Die großen Verbrauchszahlen für Rechenzentren und die Herstellerangaben pro Anfrage stehen im Artikel Warum braucht KI so viel Energie? – hier geht es nur um das Verhältnis der beiden Phasen.

Drei Begriffe: Training, Fine-Tuning, Inferenz #

• Training (genauer: Vortraining) ist die Phase, in der ein Modell aus riesigen Textmengen seine Gewichte lernt – die Milliarden Zahlen, aus denen es besteht. Das läuft wochenlang auf vielen Beschleunigerkarten und passiert pro Modell im Prinzip einmal.
• Fine-Tuning ist ein kürzeres Nachtraining auf einem vortrainierten Modell, etwa damit es Anweisungen befolgt oder eine bestimmte Aufgabe besser löst. Deutlich billiger als das Vortraining, aber nicht gratis.
• Inferenz ist die Nutzung: Das fertige Modell bekommt eine Eingabe und berechnet eine Antwort. Jede Chat-Nachricht, jede Übersetzung, jede automatische Bildbeschreibung ist eine Inferenz. Was bei Sprachmodellen dabei technisch passiert, erklärt LLM-Grundlagen.

Der entscheidende Unterschied ist die Form der Kosten: Training ist ein Fixkostenblock, Inferenz sind laufende Kosten pro Stück. Das ist dieselbe Logik wie bei einem Auto: Die Herstellung kostet einmal viel Energie, der Verbrauch pro Kilometer ist klein – nach genug Kilometern überwiegt trotzdem der Sprit.

Der Break-even als Rechnung #

Daraus ergibt sich direkt die Frage nach dem Break-even, dem Punkt, an dem die Nutzung insgesamt so viel Energie verbraucht hat wie die Herstellung des Modells:

Anfragen bis zum Break-even = (Energie Training + Energie Fine-Tuning) ÷ Energie pro Anfrage

Die Formel ist trivial, die Zahlen dafür sind es nicht. Eine der wenigen Arbeiten, die alle drei Werte für dieselben Modelle zusammengetragen hat, stammt von Luccioni, Jernite und Strubell. Sie nutzten veröffentlichte Trainingsprotokolle der offenen BLOOM-Modelle, schätzten den Aufwand fürs Fine-Tuning zu BLOOMz und maßen den Verbrauch pro Anfrage selbst – auf NVIDIA-A100-Karten, jede Anfrage einzeln ohne Bündelung. Ihr Ergebnis (Tabelle 5 im Paper):

Je nach Modellgröße braucht es laut Luccioni et al. rund 200 bis gut 590 Millionen Anfragen, bis die Inferenz so viel Energie verbraucht hat wie Training und Fine-Tuning zusammen; der Break-even wandert mit der Modellgröße nach hintenBelegt. Die letzte Zeile lässt sich nachrechnen: (51.686 + 7.571) kWh ÷ 0,0001 kWh ergibt 592,57 Millionen.

Hunderte Millionen Anfragen klingen nach viel. Eine Beispielrechnung, ausdrücklich ohne Bezug zu einem realen Dienst: Ein Modell von der Art des BLOOMz-7B, das zehn Millionen Anfragen am Tag beantwortet, hätte nach rund 59 Tagen (592,57 Mio. ÷ 10 Mio.) seinen Trainingsaufwand „abverbraucht“. Bei tausend Anfragen am Tag wären es über 1.600 Jahre. Dieselbe Formel, völlig verschiedene Antworten – es kommt allein auf die Nutzung an. Die Autoren schätzen, dass bei einem Dienst in der Größenordnung von ChatGPT die Nutzung die Trainingskosten schon nach einigen Wochen oder Monaten übersteigen würdeTheorie – eine Abschätzung aus Nutzerzahlen, keine Messung bei OpenAI.

Was an der Rechnung wackelt #

Die Tabelle ist nützlich, weil sie vollständig ist – aber sie ist kein Naturgesetz:

• Die Anfrage ist nicht normiert. Eine kurze Klassifikation und eine lange Textantwort kosten sehr unterschiedlich viel. Luccioni et al. haben mit festen Benchmark-Aufgaben gemessen; ein realer Dienst mischt ganz andere Anfragen.
• Bündelung senkt den Wert pro Anfrage. Die Messung lief bewusst ohne Batching (mehrere Anfragen gleichzeitig durchs Modell). Ein Dienst mit vielen gleichzeitigen Nutzern kann bündeln. Sinkt die Energie pro Anfrage, rückt der Break-even rein rechnerisch weiter nach hinten.
• Fine-Tuning ist geschätzt. Die Autoren leiten den Fine-Tuning-Aufwand aus der Nennleistung (TDP) der Grafikkarten ab und nehmen dabei volle Auslastung an – eher eine Obergrenze.
• Trainingsaufwand ist mehr als der letzte Lauf. Vor dem finalen Training stehen Experimente, Fehlversuche und Hyperparameter-Suchen. Welche davon man mitzählt, verschiebt das Ergebnis.

Was die Betreiber über das Verhältnis sagen #

Die Break-even-Rechnung betrachtet ein Modell. Betreiber großer Plattformen haben dagegen den Anteil von Training und Inferenz an ihrem gesamten ML-Verbrauch veröffentlicht. Wichtig: Das sind interne Daten, gemessen von den Firmen selbst und in begutachteten Artikeln veröffentlicht, von außen aber nicht nachprüfbar.

Google. Für je eine Aprilwoche der Jahre 2019, 2020 und 2021 lag der Anteil von Machine Learning laut Patterson et al. bei 10 bis 15 % des gesamten Energieverbrauchs von Google; davon entfielen in allen drei Jahren etwa drei Fünftel auf Inferenz und zwei Fünftel auf TrainingHerstellerangabe. Gezählt wurde alles: Forschung, Entwicklung, Tests und Produktivbetrieb.

Meta. Die Autoren des Meta-Papers von Wu et al. rechnen in mehreren Maßeinheiten, und das ist lehrreich:

• Die für KI bereitgestellte Leistungskapazität teilte sich bei Facebook grob im Verhältnis 10:20:70 auf Experimente, Training und Inferenz aufHerstellerangabe.
• Beim CO₂-Fußabdruck einzelner Anwendungen war das Bild gemischt: Bei Empfehlungsmodellen teilte er sich etwa gleichmäßig auf Training und Inferenz auf, beim untersuchten Sprachmodell dominierte die Inferenz mit 65 % gegenüber 35 % für TrainingHerstellerangabe.

Kapazität, Energie und CO₂ sind verschiedene Größen. Kapazität sagt, wie viel Hardware bereitsteht, nicht wie stark sie genutzt wird; CO₂ hängt zusätzlich davon ab, wann und wo der Strom erzeugt wurde. Ein „70 % Inferenz“ und ein „60 % Inferenz“ widersprechen sich deshalb nicht zwingend – sie messen Verschiedenes.

Hardware- und Cloud-Anbieter. Die oft zitierte Spanne von 80 bis 90 % Inferenz stammt von Anbietern, die Beschleuniger und Cloud-Kapazität verkaufen. Luccioni et al. geben sie mit Verweis auf AWS als Anteil an der gesamten ML-Nachfrage in der Cloud wiederHerstellerangabe. Einordnung und Herkunft dieser Zahl stehen im Artikel Warum braucht KI so viel Energie?; eine unabhängige Messung ist sie nicht.

Unterm Strich zeigen alle drei Quellen in dieselbe Richtung – Inferenz ist mindestens ein gleich großer, oft der größere Posten –, aber alle stammen aus der Zeit vor dem Boom der großen Chat-Assistenten und von Firmen, die über sich selbst berichten.

Warum Inferenz noch wichtiger werden könnte #

Zwei Entwicklungen verschieben das Gewicht Richtung Nutzung.

Mehr Anfragen. Wu et al. berichten von Billionen Inferenzen pro Tag in den Rechenzentren von Facebook, deren Zahl sich in drei Jahren mehr als verdoppelt habeHerstellerangabe. Jedes Modell, das in ein Produkt eingebaut wird – Suche, Office, Smartphone, Kundenservice –, wird nicht einmal trainiert und einmal genutzt, sondern einmal trainiert und dauerhaft abgerufen.

Längere Antworten. Sprachmodelle rechnen Token für Token; jedes erzeugte Token ist ein eigener Durchlauf durch das Modell. Reasoning-Modelle, die vor der Antwort erst „laut nachdenken“, erzeugen dabei viel mehr Text. Chung et al. haben im ML.ENERGY-Benchmark gemessen, dass Reasoning-Modelle pro Anfrage ein bis zwei Größenordnungen mehr Ausgabe-Tokens erzeugen als gewöhnliche Chat-Modelle und dadurch deutlich mehr Energie pro Antwort brauchenBelegt. Weil die langen Antworten den Speicher länger belegen, passen außerdem weniger Anfragen gleichzeitig auf eine Karte – die Energie pro Token steigt laut den Autoren zusätzlich.

Beides zusammen legt nahe, dass der Inferenzanteil weiter wächst. Ob er das tatsächlich tut, hängt aber auch davon ab, wie viel größer die Trainingsläufe gleichzeitig werden und wie stark effizientere Hardware und Software den Verbrauch pro Anfrage senkenEvidenz: Theorie. Aktuelle, unabhängig geprüfte Zahlen zum Verhältnis bei den großen Anbietern gibt es nicht.

Reality Check #

Stand September 2026:

• Belegt: Für die BLOOMz-Modelle liegt der Break-even bei rund 200 bis 590 Millionen Anfragen und wächst mit der Modellgröße. Reasoning-Modelle erzeugen pro Anfrage gemessen ein bis zwei Größenordnungen mehr Ausgabe-Tokens als Chat-Modelle.
• Nur Betreiberangabe: Die Anteile bei Google (etwa drei Fünftel Inferenz, 2019–2021) und Meta (10:20:70 bei der Kapazität) sowie die 80–90 % aus der Cloud-Branche.
• Offen: das heutige Verhältnis bei den großen Chat-Diensten, die Trainingsenergie aktueller Spitzenmodelle und wie stark Effizienzgewinne und wachsende Nutzung sich gegenseitig aufheben.

Was heißt das fürs eigene Homelab? #

Im Homelab ist die Rechnung einseitig: Du lädst ein fertiges Modell, etwa über Hugging Face, und nutzt es. Das Training hat jemand anderes bezahlt – energetisch wie finanziell. Selbst Fine-Tuning ist zu Hause die Ausnahme. Auf deiner Stromrechnung steht deshalb praktisch nur Inferenz, plus der Leerlauf des Rechners, der bereitsteht, während niemand fragt.

Für den Inferenzteil zählt vor allem, wie lange eine Antwort dauert. Wie viele Tokens pro Sekunde dein System schafft und warum Prefill und Decode unterschiedlich schnell sind, erklärt Tokens pro Sekunde: Was der Wert bei lokalen LLMs wirklich bedeutet. Die Überlegung zu Reasoning-Modellen gilt zu Hause genauso: Ein Modell, das zehnmal so viele Tokens erzeugt, rechnet ungefähr zehnmal so lange.

Die Energie bekommst du dann aus Leistungsaufnahme mal Dauer. Wie sich Messwerte direkt aus dem Prozessor von der Messung an der Steckdose unterscheiden, zeigt das LAB 35-W-CPU im Homeserver; die Jahreskosten für Leerlauf und Last liefert der Stromkosten-Rechner. Eigene Messungen einer lokalen KI an der Steckdose haben wir noch nicht veröffentlicht.

Und wer wissen will, welche Hardware-Ideen den Energiebedarf pro Anfrage grundsätzlich senken sollen, findet die Übersicht in Was kommt nach CPU und GPU?.