LLM-Grundlagen: Modellgrößen, Tokens und Kontextfenster verstehen

Kurz gesagt: Ein LLM (Large Language Model) ist ein neuronales Netz, das gelernt hat, das wahrscheinlichste nächste Wortstück vorherzusagen — mehr nicht, und daraus entsteht trotzdem alles, was du von ChatGPT & Co. kennst. Die Zahl im Modellnamen (7B, 14B, 70B) ist die Parameterzahl in Milliarden und bestimmt direkt, wie viel Speicher das Modell braucht. Tokens sind die Wortstücke, in denen das Modell denkt, und das Kontextfenster ist sein Arbeitsgedächtnis. Wer diese drei Begriffe verstanden hat, kann Modellnamen lesen und einschätzen, was auf der eigenen Hardware läuft.

Dieser Guide ist das Fundament unseres Local-AI-Themas: kein Prompt-Kurs und keine News, sondern die technischen Grundbegriffe, die du brauchst, um Modelle für dein Homelab auszuwählen — etwa bevor du Ollama einrichtest oder mit dem Local-AI-Rechner prüfst, was dein Server schafft.

Was ein LLM eigentlich tut #

Ein Sprachmodell beantwortet im Kern immer dieselbe Frage: Welches Token kommt als Nächstes? Es bekommt den bisherigen Text, rechnet einmal durch alle seine Parameter und gibt eine Wahrscheinlichkeitsverteilung über das gesamte Vokabular aus. Ein Token wird gewählt, an den Text angehängt — und das Spiel beginnt von vorn, Token für Token, bis die Antwort fertig ist.

Zwei Dinge folgen daraus unmittelbar:

• Ein LLM schlägt nichts nach. Sein „Wissen“ steckt als statistisches Muster in den Parametern. Es kann deshalb flüssig und überzeugend Dinge behaupten, die falsch sind (Halluzinationen) — es erzeugt Text, es zitiert nicht.
• Jedes Token kostet einen kompletten Rechendurchlauf. Für jedes einzelne Wortstück der Antwort müssen die Gewichte einmal durchgerechnet werden — deshalb ist die Geschwindigkeit lokaler Modelle vor allem eine Frage der Speicherbandbreite, nicht der reinen Rechenleistung. Mehr dazu im RAM-und-VRAM-Guide.

Parameter: die Zahl hinter dem B #

Parameter sind die gelernten Gewichte des neuronalen Netzes — die Stellschrauben, die im Training justiert wurden. Ihre Anzahl ist die wichtigste Kennzahl eines Modells und steht meist direkt im Namen: Llama 3.1 8B hat rund acht Milliarden Parameter, Qwen 2.5 14B vierzehn Milliarden, ein 70B-Modell siebzig Milliarden.

Als grobe Einordnung für den Heimgebrauch:

Mehr Parameter bedeuten tendenziell bessere Antworten, aber die Kurve flacht ab, und neuere kleine Modelle schlagen regelmäßig ältere große. Ein aktuelles 8B-Modell ist einem zwei Jahre alten 13B-Modell meist überlegen — das Alter des Modells zählt mit, nicht nur die Größe.

Wichtig für die Praxis: Aus der Parameterzahl folgt der Speicherbedarf. Unquantisiert (FP16) belegt jeder Parameter zwei Bytes — ein 7B-Modell also ~14 GB, ein 70B-Modell ~140 GB. Dass solche Modelle trotzdem auf Heimhardware laufen, liegt an der Quantisierung — die hat einen eigenen Guide.

Tokens: die Währung der Sprachmodelle #

LLMs arbeiten nicht mit Buchstaben und nicht mit ganzen Wörtern, sondern mit Tokens: häufigen Zeichenfolgen aus einem festen Vokabular. „Der Server läuft“ sind drei Wörter, aber je nach Modell drei bis fünf Tokens — seltene oder zusammengesetzte deutsche Wörter werden in mehrere Stücke zerlegt („Netzwerkschnittstelle“ etwa in mehrere Teil-Tokens).

Tokens begegnen dir an drei Stellen:

• Geschwindigkeit wird in Tokens pro Sekunde gemessen. Zur Einordnung: Flüssiges Lesetempo liegt bei grob 5–10 Tokens/s — was darunter liegt, fühlt sich zäh an.
• Kontextlänge wird in Tokens angegeben (dazu gleich mehr).
• Cloud-Preise werden pro Token abgerechnet — relevant, wenn du Cloud-KI und lokale Modelle vergleichst.

Das Kontextfenster: Arbeitsgedächtnis mit harter Kante #

Das Kontextfenster ist die maximale Token-Menge, die das Modell gleichzeitig „sehen“ kann: dein Prompt, mitgegebene Dokumente, der bisherige Gesprächsverlauf und die entstehende Antwort — alles zusammen. Typische Werte reichen von 8.000 (8K) bis 128.000 (128K) Tokens, je nach Modell.

Drei Konsequenzen, die man erlebt haben muss:

1. Was rausfällt, ist weg. Wird das Gespräch länger als das Fenster, verschwindet der Anfang — das Modell „vergisst“ scheinbar mitten im Gespräch. Es ist kein Bug, sondern die harte Kante des Fensters.
2. Kontext kostet Speicher. Für jedes Token im Fenster hält die Runtime Zwischenwerte im sogenannten KV-Cache vor. Ein großes Fenster kann bei lokalen Modellen mehrere Gigabyte zusätzlich belegen — einer der Gründe, warum Runtimes wie Ollama den Kontext standardmäßig klein halten.
3. Großes Fenster ≠ gutes Erinnern. Auch Modelle mit riesigem Kontext nutzen Informationen aus der Mitte langer Eingaben oft schlechter als vom Anfang oder Ende. Relevantes gehört nach vorn oder ans Ende des Prompts.

Training, Wissensstand und Halluzinationen #

Ein Modell kennt nur, was zum Trainingszeitpunkt in seinen Daten war — seinen Wissensstand (Knowledge Cutoff). Ein lokales Modell weiß nichts über aktuelle Ereignisse und nichts über dein Homelab, sofern du es ihm nicht in den Kontext gibst. Genau darauf bauen Techniken wie RAG (Retrieval-Augmented Generation) auf: relevante Dokumente werden zur Laufzeit gesucht und dem Modell ins Kontextfenster gelegt.

Und weil das Modell immer nur plausiblen Text erzeugt, gilt für den Praxiseinsatz: Fakten, Befehle und Konfigurationen aus einem LLM sind Entwürfe, keine Wahrheiten. Gerade kleine lokale Modelle halluzinieren häufiger als die großen Cloud-Modelle — ein 7B-Modell erfindet dir ohne Zögern plausible, aber falsche Konfigurationsoptionen.

Instruct, Chat, Base: welche Variante du willst #

Auf Modellplattformen wie Hugging Face findest du Modelle oft in mehreren Varianten. Base-Modelle sind nur darauf trainiert, Text fortzusetzen — sie beantworten keine Fragen, sondern schreiben weiter. Instruct- bzw. Chat-Varianten wurden zusätzlich darauf trainiert, Anweisungen zu folgen und zu dialogisieren. Für praktisch alles, was man im Homelab will, ist die Instruct-Variante die richtige — Runtimes wie Ollama liefern sie standardmäßig aus.

Wie es weitergeht #

Mit diesen Begriffen kannst du Modellkarten lesen und Anforderungen einschätzen. Die nächsten Schritte im Cluster:

• Quantisierung und GGUF verstehen — warum ein 14-GB-Modell plötzlich in 5 GB passt
• Wie viel RAM und VRAM braucht ein LLM? — die Hardware-Frage, inklusive Local-AI-Rechner
• Ollama einrichten — das erste lokale Modell zum Laufen bringen