Zum Inhalt springen
labkompass

Guides · Thema

Lokale KI im Homelab

KI im Homelab statt in der Cloud: lokale Sprachmodelle mit Ollama, die passende Hardware dafür — und ein ehrlicher Blick darauf, wann die Cloud doch die bessere Wahl ist.

Teil der Themenwelt Future Computing — dort steht, wie die Felder zusammenhängen.

Grundlagen

Was ein Sprachmodell wirklich tut, woher die Modelle kommen und was Quantisierung mit der Dateigröße macht — ohne Mathematik-Studium.

  1. 01
    GUIDELLM-Grundlagen: Modellgrößen, Tokens und Kontextfenster verstehenWas ist ein LLM — und was bedeuten 7B, Tokens und Kontextfenster konkret? Die Grundbegriffe lokaler Sprachmodelle einsteigerfreundlich erklärt: so liest du Modellnamen, schätzt Hardware-Anforderungen ein und verstehst, warum Modelle mitten im Gespräch vergessen.
  2. 02
    GUIDEHugging Face einfach erklärt: Modelle finden und lokal nutzenWas Hugging Face ist und wie du dort das richtige Modell für dein Homelab findest: Model Cards und Lizenzen lesen, GGUF-Quantisierungen erkennen und Modelle direkt mit Ollama ausführen — einsteigerfreundlich erklärt.
  3. 03
    GUIDEQuantisierung und GGUF: Warum 14 GB Modell in 5 GB passenQuantisierung macht lokale LLMs erst möglich: Was Q4_K_M, Q8_0 und GGUF bedeuten, wie viel Qualität bei welcher Stufe verloren geht und worin sich GGUF und Safetensors unterscheiden — einsteigerfreundlich erklärt für Ollama und llama.cpp.

Planung

Bevor Hardware gekauft wird: Wie viel RAM und VRAM ein Modell braucht — und ob lokal für dich überhaupt der richtige Weg ist.

  1. 04
    GUIDEWie viel RAM und VRAM braucht ein LLM? Die ehrliche Rechnung7B, 14B oder 70B lokal betreiben — wie viel VRAM, RAM oder Unified Memory braucht das wirklich? Die Faustformel hinter dem Speicherbedarf, geschätzte Werte pro Modellgröße und was GPU, Apple Silicon und CPU-only unterscheidet.
  2. 05
    GUIDECloud-KI vs. lokales LLM: Was wirklich für Selfhosting sprichtChatGPT und Claude oder ein eigenes Modell auf dem Homeserver? Ein ehrlicher Vergleich entlang der Kriterien, die zählen: Antwortqualität, Datenschutz, Kosten, Verfügbarkeit — und warum die beste Antwort für die meisten „beides“ lautet.

Hardware verstehen

Warum lokale KI an Speicher und Bandbreite hängt: Tokens pro Sekunde, KV-Cache, Zahlenformate und was beim Laden eines Modells passiert.

  1. 06
    GUIDEWarum kostet lokale KI so viel Hardware? Die Speicherfrage hinter jedem TokenNicht die Rechenleistung macht lokale KI teuer, sondern Speicher: wie viel hineinpasst und wie schnell er liefert. Warum das so ist — und warum es nicht von selbst besser wird.
  2. 07
    GUIDETokens pro Sekunde: Was der Wert bei lokalen LLMs wirklich bedeutetTokens pro Sekunde ist nicht gleich Tokens pro Sekunde: Prompt-Verarbeitung und Generierung verhalten sich grundverschieden. So liest du Benchmark-Angaben richtig.
  3. 08
    GUIDEWas passiert beim Laden eines LLMs wirklich? Von der Datei bis zum ersten TokenWarum der erste Start eines lokalen LLMs dauert und der zweite nicht: GGUF, mmap, Page Cache, VRAM-Transfer, Layer-Offload, KV-Cache und keep_alive Schritt für Schritt.
  4. 09
    GUIDEKV-Cache verständlich erklärt: Das Kurzzeitgedächtnis im GrafikspeicherWas der KV-Cache ist, warum langer Kontext so viel VRAM frisst, wie man seinen Bedarf selbst ausrechnet — und was GQA und Cache-Quantisierung dagegen tun.

Praxis

Vom ersten lokalen Modell bis zur Chat-Oberfläche für den Hausgebrauch.

  1. 10
    GUIDEOllama einrichten: Lokale LLMs auf Server, PC und MacOllama installieren und das erste lokale Sprachmodell betreiben — nativ auf Linux, als Docker-Container oder auf dem Mac. Mit Modellverwaltung, API-Grundlagen und dem Sicherheits-Kapitel, das viele überspringen: Ollama hat keine Authentifizierung.
  2. 11
    GUIDEOpen WebUI mit Ollama: Die Chat-Oberfläche fürs eigene LLMOpen WebUI per Docker Compose mit Ollama verbinden: ein Compose-Stack für beides, Admin-Konto und Nutzerverwaltung, Modelle im Browser laden — und der Grund, warum nur die WebUI erreichbar sein sollte, nicht die Ollama-API.

In Vorbereitung: Warum lange Kontexte so teuer werden · Was verliert ein Modell durch Quantisierung wirklich? · TOPS und FLOPS: Was die Zahlen auf KI-Chips bedeuten und 16 weitere Beiträge

Echte Benchmark-Zahlen (Tokens/s auf konkreter Hardware) fehlen noch — die liefert das LAB, sobald der Cluster vermessen ist.

Passende Tools

TOOLLocal-AI-RechnerWelche LLM-Größe läuft auf deiner Hardware? Eignung von 3B bis 70B ablesen oder ein eigenes Modell durchrechnen: Gewichte, KV-Cache und Gesamtbedarf von FP32 bis Q2_K.TOOLServer-Stromkosten-RechnerIdle- und Lastverbrauch, Laufzeit und Strompreis eingeben — Stromkosten pro Monat und Jahr für Homeserver und NAS berechnen.

Aktuelles aus dem Logbuch

LOGObsidian + Claude: ein zweites Gehirn fürs HomelabNotizen als lokale Markdown-Dateien, eine KI, die sie lesen und durchsuchen kann: Warum die Kombination aus Obsidian und Claude gerade überall auftaucht — und wie mein eigenes zweites Gehirn ohne Obsidian, aber nach demselben Prinzip funktioniert.

Auch interessant: Alten PC als Homeserver nutzen · Proxmox-Stromverbrauch senken