Zum Inhalt springen
labkompass

Guides · Thema

Lokale KI im Homelab

KI im Homelab statt in der Cloud: lokale Sprachmodelle mit Ollama, die passende Hardware dafür — und ein ehrlicher Blick darauf, wann die Cloud doch die bessere Wahl ist.

Ganz neu im Homelab? Der Einstiegspfad in 8 Schritten ordnet das Thema in den Gesamtaufbau ein.

Grundlagen

Was ein Sprachmodell wirklich tut, woher die Modelle kommen und was Quantisierung mit der Dateigröße macht — ohne Mathematik-Studium.

  1. 01
    GUIDELLM-Grundlagen: Modellgrößen, Tokens und Kontextfenster verstehenWas ist ein LLM — und was bedeuten 7B, Tokens und Kontextfenster konkret? Die Grundbegriffe lokaler Sprachmodelle einsteigerfreundlich erklärt: so liest du Modellnamen, schätzt Hardware-Anforderungen ein und verstehst, warum Modelle mitten im Gespräch vergessen.
  2. 02
    GUIDEHugging Face einfach erklärt: Modelle finden und lokal nutzenWas Hugging Face ist und wie du dort das richtige Modell für dein Homelab findest: Model Cards und Lizenzen lesen, GGUF-Quantisierungen erkennen und Modelle direkt mit Ollama ausführen — einsteigerfreundlich erklärt.
  3. 03
    GUIDEQuantisierung und GGUF: Warum 14 GB Modell in 5 GB passenQuantisierung macht lokale LLMs erst möglich: Was Q4_K_M, Q8_0 und GGUF bedeuten, wie viel Qualität bei welcher Stufe verloren geht und worin sich GGUF und Safetensors unterscheiden — einsteigerfreundlich erklärt für Ollama und llama.cpp.

Planung

Bevor Hardware gekauft wird: Wie viel RAM und VRAM ein Modell braucht — und ob lokal für dich überhaupt der richtige Weg ist.

  1. 04
    GUIDEWie viel RAM und VRAM braucht ein LLM? Die ehrliche Rechnung7B, 14B oder 70B lokal betreiben — wie viel VRAM, RAM oder Unified Memory braucht das wirklich? Die Faustformel hinter dem Speicherbedarf, geschätzte Werte pro Modellgröße und was GPU, Apple Silicon und CPU-only unterscheidet.
  2. 05
    GUIDECloud-KI vs. lokales LLM: Was wirklich für Selfhosting sprichtChatGPT und Claude oder ein eigenes Modell auf dem Homeserver? Ein ehrlicher Vergleich entlang der Kriterien, die zählen: Antwortqualität, Datenschutz, Kosten, Verfügbarkeit — und warum die beste Antwort für die meisten „beides“ lautet.

Praxis

Vom ersten lokalen Modell bis zur Chat-Oberfläche für den Hausgebrauch.

  1. 06
    GUIDEOllama einrichten: Lokale LLMs auf Server, PC und MacOllama installieren und das erste lokale Sprachmodell betreiben — nativ auf Linux, als Docker-Container oder auf dem Mac. Mit Modellverwaltung, API-Grundlagen und dem Sicherheits-Kapitel, das viele überspringen: Ollama hat keine Authentifizierung.
  2. 07
    GUIDEOpen WebUI mit Ollama: Die Chat-Oberfläche fürs eigene LLMOpen WebUI per Docker Compose mit Ollama verbinden: ein Compose-Stack für beides, Admin-Konto und Nutzerverwaltung, Modelle im Browser laden — und der Grund, warum nur die WebUI erreichbar sein sollte, nicht die Ollama-API.

Echte Benchmark-Zahlen (Tokens/s auf konkreter Hardware) fehlen noch — die liefert das LAB, sobald der Cluster vermessen ist.

Passende Tools

TOOLLocal-AI-RechnerWelche LLM-Größe läuft auf deiner Hardware? VRAM oder RAM eingeben — Eignung von 3B bis 70B samt nötiger Quantisierung ablesen, formelbasiert geschätzt.TOOLServer-Stromkosten-RechnerIdle- und Lastverbrauch, Laufzeit und Strompreis eingeben — Stromkosten pro Monat und Jahr für Homeserver und NAS berechnen.

Aktuelles aus dem Logbuch

LOGObsidian + Claude: ein zweites Gehirn fürs HomelabNotizen als lokale Markdown-Dateien, eine KI, die sie lesen und durchsuchen kann: Warum die Kombination aus Obsidian und Claude gerade überall auftaucht — und wie mein eigenes zweites Gehirn ohne Obsidian, aber nach demselben Prinzip funktioniert.

Auch interessant: Alten PC als Homeserver nutzen · Proxmox-Stromverbrauch senken