Ollama einrichten: Lokale LLMs auf Server, PC und Mac

Kurz gesagt: Ollama ist der einfachste Weg zu lokalen Sprachmodellen: ein Befehl zur Installation, ein ollama run fürs erste Modell — Download, Quantisierung und GPU-Anbindung erledigt es selbst. Es läuft nativ auf Linux, macOS und Windows oder als Docker-Container und stellt eine lokale API auf Port 11434 bereit, die auch OpenAI-kompatible Clients versteht. Der Punkt, den viele Anleitungen verschweigen: Die API hat keine Authentifizierung — wie du sie im Heimnetz trotzdem sauber betreibst, steht im Security-Abschnitt.

Vorab lohnt ein Blick auf die Hardware-Frage: Welche Modellgröße dein System schafft, klärt der RAM-und-VRAM-Guide bzw. der Local-AI-Rechner — es ist frustrierend, mit einem Modell zu starten, das nur ruckelnd aus dem RAM läuft.

Was Ollama ist (und was nicht) #

Ollama verpackt die Inferenz-Engine llama.cpp in ein Werkzeug mit Docker-ähnlicher Bedienung: Modelle werden wie Images aus einer Registry gezogen (ollama pull), laufen als lokale Dienste und sind über eine HTTP-API ansprechbar. Kein Python-Environment, kein CUDA-Gefrickel von Hand, keine manuelle GGUF-Beschaffung für den Anfang.

Was Ollama nicht mitbringt: eine Chat-Oberfläche im Browser (dafür gibt es Open WebUI), Nutzerverwaltung und Zugriffskontrolle (dazu unten mehr).

Weg 1: Nativ auf Linux (empfohlen für den Homeserver) #

Das offizielle Installationsskript richtet Ollama als systemd-Dienst ein:

curl -fsSL https://ollama.com/install.sh | sh

Der übliche Hinweis zu curl | sh: Wer dem Muster misstraut, lädt das Skript zuerst herunter und liest es, bevor er es ausführt. Danach:

# Dienst prüfen
systemctl status ollama
 
# Erstes Modell starten — Download passiert automatisch
ollama run llama3.2

ollama run öffnet direkt einen Chat im Terminal (verlassen mit /bye). Beim ersten Aufruf wird das Modell heruntergeladen — je nach Größe einige GB, gespeichert unter /usr/share/ollama/.ollama.

NVIDIA-GPUs nutzt Ollama automatisch, sobald der proprietäre Treiber installiert ist; AMD-Karten laufen über ROCm (je nach Karte mit etwas Handarbeit), ohne GPU rechnet die CPU.

Weg 2: Docker #

Auf einem Docker-Host fügt sich Ollama in den vorhandenen Stack ein:

docker run -d --name ollama \
  -v ollama:/root/.ollama \
  -p 127.0.0.1:11434:11434 \
  ollama/ollama

Zwei bewusste Entscheidungen in dieser Zeile:

• -v ollama:/root/.ollama — die Modelle landen in einem Volume und überleben Container-Updates. Ohne Volume lädst du nach jedem Update zweistellige Gigabytes neu.
• -p 127.0.0.1:11434:11434 — der Port wird nur auf localhost veröffentlicht, nicht auf allen Interfaces. Warum das wichtig ist: siehe Security-Abschnitt.

Für NVIDIA-GPU-Beschleunigung im Container braucht der Host das NVIDIA Container Toolkit, der Container zusätzlich --gpus=all. Modelle starten dann per:

docker exec -it ollama ollama run llama3.2

Auf macOS und Windows ist die native App die bessere Wahl als Docker — im Container gäbe es keinen Zugriff auf Metal bzw. die GPU.

Modelle verwalten #

Die Handvoll Befehle, die man täglich braucht:

ollama pull qwen2.5:7b     # Modell laden, ohne es zu starten
ollama list                # geladene Modelle samt Größe
ollama ps                  # was läuft gerade (und wo: GPU/CPU)
ollama run qwen2.5:7b      # Chat im Terminal
ollama stop qwen2.5:7b     # Modell aus dem Speicher entladen
ollama rm qwen2.5:7b       # Modell löschen

Die Tags funktionieren wie bei Docker: qwen2.5:7b wählt die 7B-Variante, ohne Tag kommt der Standard (meist eine mittlere Größe in Q4-Quantisierung). Welche Modelle und Tags es gibt, listet die Ollama-Library; GGUF-Modelle von Hugging Face lassen sich ebenfalls direkt ziehen — wie, zeigt der Hugging-Face-Guide.

Nach ein paar Minuten Leerlauf entlädt Ollama Modelle automatisch aus dem Speicher — der erste Prompt danach dauert dann wieder ein paar Sekunden (Ladezeit), das ist normal und kein Fehler.

Die API: Ollama als Baustein #

Der eigentliche Homelab-Wert von Ollama ist die API auf Port 11434 — damit wird der Server zum LLM-Backend für andere Dienste:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Erkläre kurz, was ein VLAN ist."
}'

Zusätzlich spricht Ollama die OpenAI-kompatible Schnittstelle unter /v1 — Werkzeuge, die einen „OpenAI-Endpoint“ erwarten, lassen sich so auf das eigene Homelab umbiegen: Base-URL auf http://<server>:11434/v1 setzen, beliebigen API-Key eintragen (er wird nicht geprüft), Modellname wie in ollama list.

Security: Ollama hat keine Authentifizierung #

Der wichtigste Absatz dieses Guides. Die Ollama-API kennt keine Nutzer, keine Tokens, keine Zugriffskontrolle — wer den Port erreicht, kann Modelle abfragen, neue laden und vorhandene löschen. Daraus folgen drei Regeln:

1. Standardmäßig lokal lassen. Nativ bindet Ollama nur an 127.0.0.1 — gut so. Öffne es nur bewusst: Wer OLLAMA_HOST=0.0.0.0 setzt (per systemctl edit ollama.service) oder im Docker-Setup -p 11434:11434 ohne 127.0.0.1: schreibt, stellt die API dem gesamten Netzsegment zur Verfügung.
2. Wenn im Heimnetz, dann eingegrenzt. Soll ein anderer Rechner oder Open WebUI zugreifen: Zugriff per Firewall auf die nötigen Quell-IPs bzw. das Management-VLAN beschränken — oder gleich beides auf denselben Host packen und den Port lokal lassen. Für Zugriff von unterwegs ist ein Overlay wie Tailscale oder WireGuard der richtige Weg.
3. Niemals per Portweiterleitung ins Internet. Ein offener Ollama-Port ist ein kostenloser GPU-Cluster für Fremde und im schlimmsten Fall ein Datenabfluss — Prompts und Antworten laufen unverschlüsselt über HTTP.

Troubleshooting-Klassiker #

• Modell läuft, aber quälend langsam: Fast immer passt das Modell nicht (ganz) in den schnellen Speicher — ollama ps zeigt, welcher Anteil auf der GPU liegt. Kleinere Klasse oder stärkere Quantisierung wählen (Rechner).
• GPU wird nicht genutzt: Treiber/Toolkit prüfen (nvidia-smi auf dem Host bzw. im Container-Setup das NVIDIA Container Toolkit und --gpus=all).
• „connection refused“ von anderem Rechner: Ollama lauscht nur auf localhost — siehe Security-Abschnitt, bevor du das änderst.

Weiterlesen #

• Open WebUI aufsetzen — die Browser-Oberfläche für dein Ollama
• Wie viel RAM/VRAM braucht ein LLM? — falls die Modellwahl noch offen ist
• Cloud-KI vs. lokale LLMs — wann sich der lokale Betrieb wirklich lohnt