Tool · Local AI
Local-AI-Rechner
Reicht die Grafikkarte für ein 14B-Modell — oder wird das eine Diashow? Wähle dein Setup und lies ab, welche Modellgrößen mit welcher Quantisierung realistisch in deinen Speicher passen. Die Schätzung basiert auf den dokumentierten GGUF-Speichergrößen, nicht auf erfundenen Benchmarks.
Empfohlene Modellklasse
12–14B
z. B. Qwen 2.5 14B, Phi-4
Schnelles Speicherbudget
11,5 GB
VRAM abzüglich Reserve
Tempo-Einordnung
gut
solange das Modell ins schnelle Budget passt — Auslagerung bremst
- Sehr gut
3–4Bz. B. Llama 3.2 3B, Qwen 2.5 3B
läuft auch in hoher Qualität (Q8) komplett im schnellen Speicher · geschätzt 4 GB (Q4) bzw. 6 GB (Q8)
- Sehr gut
7–9Bz. B. Mistral 7B, Llama 3.1 8B
läuft auch in hoher Qualität (Q8) komplett im schnellen Speicher · geschätzt 6,5 GB (Q4) bzw. 10,4 GB (Q8)
- Gut (quantisiert)
12–14Bz. B. Qwen 2.5 14B, Phi-4
läuft mit Standard-Quantisierung (Q4_K_M) im schnellen Speicher · geschätzt 10,3 GB (Q4) bzw. 17,1 GB (Q8)
- Eingeschränkt
27–32Bz. B. Qwen 2.5 32B, Gemma 2 27B
passt nur mit Auslagerung in den System-RAM — läuft, aber deutlich langsamer · geschätzt 21,7 GB (Q4) bzw. 37,1 GB (Q8)
- Nicht sinnvoll
70Bz. B. Llama 3.3 70B
übersteigt den verfügbaren Speicher — lokal nicht sinnvoll · geschätzt 45,6 GB (Q4) bzw. 79,4 GB (Q8)
Alle Werte sind formelbasierte Schätzungen aus der dokumentierten Speicherdichte der GGUF-Quantisierungen (llama.cpp) plus einem Aufschlag für Runtime und Kontext — keine Benchmarks und keine Messwerte. Der reale Bedarf hängt von Modellarchitektur, Kontextlänge und Runtime ab, die Geschwindigkeit zusätzlich von der Speicherbandbreite. Ob ein Modell gut genug antwortet, sagt dir nur der eigene Test — z. B. mit Ollama.
Warum der Speicher entscheidet
Ein lokales Sprachmodell muss beim Antworten für jedes einzelne Token einmal komplett durch seine Gewichte rechnen. Die Gewichte müssen deshalb dort liegen, wo der Prozessor schnell herankommt: im VRAM der Grafikkarte, im gemeinsamen Speicher eines Apple-Silicon- Macs — oder notfalls im normalen RAM. Passt das Modell nicht in den schnellen Speicher, lagert die Runtime Schichten aus, und die Geschwindigkeit bricht spürbar ein. Deshalb ist die erste Frage bei Local AI nicht „welche GPU ist die schnellste?“, sondern „wie viel Speicher habe ich?“.
Was 7B, 14B und 70B bedeuten
Die Zahl im Modellnamen ist die Parameterzahl in Milliarden (B für billion): Ein 7B-Modell hat rund sieben Milliarden Gewichte. Unquantisiert (FP16) belegt jeder Parameter zwei Bytes — ein 7B-Modell also etwa 14 GB. Quantisierung drückt das auf einen Bruchteil: Das übliche Q4_K_M kommt mit rund 0,6 Bytes pro Parameter aus, ein 7B-Modell schrumpft damit auf etwa 4–5 GB — bei überraschend geringem Qualitätsverlust. Genau diese Rechnung stellt der Rechner oben für jede Modellklasse an, plus ein Aufschlag für Runtime und Kontextspeicher.
GPU, Apple Silicon oder CPU?
Eine dedizierte GPU ist am schnellsten, hat aber meist den knappsten Speicher — 8 bis 24 GB VRAM. Apple Silicon teilt sich einen großen gemeinsamen Speicher zwischen CPU und GPU, macOS reserviert davon per Voreinstellung aber nur einen Teil (Faustregel ~70 %) für die GPU. Reine CPU-Inferenz funktioniert mit genügend RAM ebenfalls — sie ist nur deutlich langsamer, weil hier die Speicherbandbreite des Systems zum Flaschenhals wird. Für den Einstieg ins Ausprobieren reicht sie trotzdem völlig.
Häufige Fragen
Wie genau sind die Schätzwerte?
Es sind Faustformeln, keine Messungen: Parameterzahl mal dokumentierte Bytes pro Parameter der GGUF-Quantisierung, plus Puffer für Runtime und Kontext. Ob ein Modell läuft, trifft die Schätzung zuverlässig — wie schnell es läuft und wie gut die Antworten sind, zeigt nur der eigene Test, etwa mit Ollama.
Was ist Quantisierung — und verliert das Modell dadurch viel?
Quantisierung speichert die Gewichte mit weniger Bits, etwa 4 statt 16. Das Modell wird dadurch drastisch kleiner und schneller ladbar. Beim üblichen Q4_K_M ist der Qualitätsverlust für die meisten Aufgaben kaum spürbar; erst aggressivere Stufen (Q3, Q2) werden merklich schlechter.
Mein Modell passt nicht ganz ins VRAM — geht es trotzdem?
Ja, Runtimes wie Ollama oder llama.cpp lagern dann einen Teil der Schichten in den System-RAM aus. Das funktioniert, kostet aber massiv Geschwindigkeit, weil jedes Token durch die ausgelagerten Schichten muss. Für den Alltag gilt: lieber eine Nummer kleiner oder stärker quantisiert wählen, dafür flüssig.
Warum zählt bei Apple Silicon nicht der ganze RAM?
CPU und GPU teilen sich dort denselben Speicher, macOS begrenzt den GPU-Anteil aber per Voreinstellung — als Faustregel auf rund 70 Prozent. Ein Mac mit 32 GB stellt der GPU also etwa 22 GB zur Verfügung. Dazu kommt, dass Betriebssystem und Apps ebenfalls Speicher brauchen.
Braucht Local AI zwingend eine NVIDIA-Grafikkarte?
Nein. NVIDIA hat mit CUDA die reifste Unterstützung, aber Ollama und llama.cpp laufen auch auf AMD-Karten (ROCm/Vulkan), auf Apple Silicon (Metal) und auf reiner CPU. Entscheidend bleibt in jedem Fall der verfügbare Speicher.
Passende Guides
Hardware
Jellyfin-Hardware: Warum ein iGPU-Mini-PC den großen Server schlägt
Die richtige Hardware für Jellyfin: Direct Play vs. Transcoding verstehen, Intel QuickSync aktivieren und warum du keine dedizierte GPU brauchst.
Hardware
Alten PC als Homeserver nutzen: Was er taugt und was er wirklich kostet
Der ausgemusterte Office-PC oder All-in-One als erster Homeserver: wann sich das lohnt, wann der Stromverbrauch die Ersparnis auffrisst und wie du sinnvoll startest.
Proxmox
Proxmox-Stromverbrauch senken: C-States, powertop und ASPM
Warum Proxmox-Hosts im Idle oft mehr ziehen als nötig — und wie du mit BIOS-Einstellungen, CPU-Governor, powertop --auto-tune und ASPM den Verbrauch drückst.