Öffnet in einem neuen Tab

Ollama: Wie betreiben Sie KI-Modelle lokal auf dem eigenen Rechner?

Ollama im eigenen Test: Einrichtung ohne Konto, Messwerte auf dem Mac, echte Ergebnisse aus dem Website-Alltag und die Grenzen lokaler KI-Modelle.

Ollama-Logo aus gelb leuchtendem Acryl auf einem schwarzen SockelKI-generiert

Kurz beantwortet: Ollama ist ein kostenloses Open-Source-Werkzeug, mit dem Sie KI-Modelle auf dem eigenen Rechner betreiben. Sie laden ein Modell mit einem Befehl, stellen Fragen im Terminal oder binden es über eine API in eigene Projekte ein. Für die lokale Nutzung brauchen Sie kein Konto. In unserem Test auf einem Mac schrieben zwei Modelle schnell lauffähigen Code, lagen aber bei Fakten teils daneben. Für Texte auf einer Website braucht es deshalb immer eine Prüfung.

Wer in der Webentwicklung KI nutzt, schickt seine Texte und seinen Code oft an einen Cloud-Dienst. Lokale Modelle sind die Alternative: Die Anfragen bleiben auf dem eigenen Gerät, und es fallen keine Kosten pro Anfrage an. Wir haben Ollama dafür am 2. November 2026 auf den neuesten Stand gebracht, die Mac-App neu installiert und alles mit Aufgaben aus dem Website-Alltag getestet. Alle Screenshots und Messwerte in diesem Beitrag stammen aus diesem Test.

Was ist Ollama?

Ollama lädt offene KI-Modelle herunter, startet sie und stellt sie über eine einheitliche Schnittstelle bereit. Das Projekt steht unter der MIT-Lizenz auf GitHub. Es gibt Versionen für macOS, Windows und Linux sowie ein Docker-Image. Auf dem Mac setzt die Dokumentation macOS Sonoma oder neuer voraus.

Wichtig ist die Abgrenzung: Ollama ist selbst kein KI-Modell, sondern die Laufzeitumgebung. Die Qualität der Antworten hängt vom Modell ab, das Sie laden. Die Modelle aus der Ollama-Bibliothek stammen von verschiedenen Herstellern, unsere Testmodelle hießen gemma4 und qwen3.5. Daneben bietet Ollama inzwischen auch Cloud-Modelle an. Diese laufen nicht lokal und setzen eine Anmeldung voraus.

So läuft die Einrichtung

Ollama gibt es auf der Download-Seite als App für macOS und Windows oder per Befehl im Terminal:

# macOS und Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows (PowerShell)
irm https://ollama.com/install.ps1 | iex

Eine Installation auf einem frischen Rechner haben wir nicht getestet, Ollama lag bei uns schon vor.

Beim ersten Start der Mac-App bietet Ollama ein Konto an. Das ist für die lokale Nutzung nicht nötig: Unter dem Button steht der Link „No thanks, I’ll use Ollama locally“. Danach zeigte die App bei uns nur den Hinweis, den Befehl ollama im Terminal auszuführen. Der Chat ist trotzdem da: Sie erreichen ihn über das Menü „File“ und „New Chat“.

Startbildschirm der Ollama-App mit dem Button Sign up und dem Link No thanks, I'll use Ollama locally
Die App bietet ein Konto an, lokal geht es aber auch ohne. Eigener Test, November 2026.

Im Chat wählen Sie unten rechts das Modell. Einträge mit Wolke laufen in der Cloud und setzen eine Anmeldung voraus, Einträge mit Pfeil müssen erst heruntergeladen werden, der Rest liegt schon auf dem Rechner.

Chatfenster der Ollama-App mit geöffneter Modellauswahl, Cloud-Modelle mit Wolke, lokale Modelle ohne Symbol
Die Modellwahl in der App. Eigener Test, November 2026.
Chat in der Ollama-App, in dem gemma4 drei Vorschläge für einen Title-Tag einer Hausarztpraxis in Köln macht
Lokaler Chat ohne Konto. Die angegebenen Längen stimmen nicht: Die Vorschläge haben 57, 49 und 50 Zeichen. Eigener Test, November 2026.

In den Einstellungen sehen Sie unter anderem die Schalter für Cloud-Funktionen und für den Zugriff aus dem Netzwerk. Letzterer war bei uns ausgeschaltet.

Einstellungen der Ollama-App mit Schaltern für Cloud, automatische Updates und Zugriff aus dem Netzwerk
Die Einstellungen der App. Eigener Test, November 2026.

Im Terminal laden und starten Sie ein Modell mit zwei Befehlen:

ollama pull gemma4
ollama run gemma4 "Warum brauchen Bilder auf Websites Alt-Texte?"

Planen Sie genug Speicherplatz ein. Unsere beiden Testmodelle belegten zusammen rund 13,5 GB. Für schwächere Rechner gibt es kleinere Varianten, siehe Tabelle unten, die wir aber nicht getestet haben. Mit ollama list sehen Sie, was auf dem Rechner liegt, mit ollama rm löschen Sie ein Modell wieder.

Terminal mit dem Befehl ollama list, der die Modelle qwen3.5:4b mit 4,0 GB und gemma4 mit 9,5 GB zeigt
Die beiden Testmodelle mit ihrer Größe auf der Festplatte. Eigener Test, November 2026.
Variante Größe laut Bibliothek
qwen3.5:0.8b 1,2 bis 1,3 GB
qwen3.5:2b 2,7 bis 3,1 GB
qwen3.5:4b (von uns getestet) 3,3 bis 4,0 GB
gemma4:e2b 4,6 bis 7,5 GB
gemma4 (von uns getestet) 6,6 bis 9,5 GB
gemma4:26b 16 bis 19 GB
Größen je Variante laut Ollama-Bibliothek, Stand November 2026. Die Spannen ergeben sich aus unterschiedlichen Fassungen eines Modells.

Unser Test: Wie schnell ist das auf einem Mac?

Getestet haben wir auf einem Mac mit M2 Max und 64 GB Arbeitsspeicher. Beide Modelle sollten dieselbe Aufgabe lösen: eine HTML-Sektion „Unsere Leistungen“ für eine fiktive Hausarztpraxis mit drei Karten, responsiv, ohne externe Bibliotheken.

Messwert gemma4 qwen3.5:4b
Größe auf der Festplatte 9,5 GB 4,0 GB
Zeit insgesamt 29,1 s 20,4 s
davon Modell laden 15,9 s 1,6 s
davon Antwort erzeugen 12,9 s 18,5 s
Erzeugte Tokens 1.313 1.488
Tokens pro Sekunde (Tokens sind Textbausteine, grob Wortteile) 102,1 80,2
Überlauf bei 390 und 1.280 px nein nein
Je ein Lauf auf Apple M2 Max mit 64 GB über die API, ohne Denkmodus, Obergrenze 3.000 Tokens. Die Werte hängen von Gerät und Auslastung ab und sind nur ein Anhaltspunkt. Eigener Test, November 2026.

Der Unterschied bei der Gesamtzeit kommt vom Laden: In weiteren Läufen brauchte gemma4 dafür nur 4 bis 5 Sekunden. Mit dem Zusatz --verbose zeigt Ollama die Messwerte selbst an, --hidethinking blendet die Denkschritte des Modells aus. Der Befehl ollama ps verrät, wie viel Speicher ein geladenes Modell belegt und ob es auf der Grafikeinheit läuft. Bei gemma4 waren es 9,4 GB und „100% GPU“. Die Dokumentation nennt für das automatische Entladen einen Standardwert von fünf Minuten.

Terminal mit einer Antwort von gemma4 zu Alt-Texten und Messwerten wie 78,88 Tokens pro Sekunde
Mit –verbose zeigt Ollama nach der Antwort Ladezeit und Geschwindigkeit, hier bei einer kurzen Frage. Eigener Test, November 2026.
Terminal mit dem Befehl ollama ps, der gemma4 mit 9,4 GB, 100 Prozent GPU und einem Kontext von 131072 zeigt
ollama ps zeigt Speicherbedarf, Prozessor und Kontextgröße des geladenen Modells. Eigener Test, November 2026.

Eine Erfahrung sollten Sie kennen: Der erste Lauf von qwen3.5:4b ohne Obergrenze lieferte auch nach mehr als zehn Minuten kein Ergebnis, wir haben ihn abgebrochen. Derselbe Aufruf war später nach 21 Sekunden fertig, die Ursache haben wir nicht geklärt. Setzen Sie in eigenen Skripten deshalb eine Obergrenze wie num_predict und ein Zeitlimit.

Wie gut sind die Ergebnisse?

Beide Ergebnisse waren sofort lauffähig und bei 390 und 1.280 Pixeln Breite ohne seitlichen Überlauf. Für einen Prototyp reicht das, fertiges Webdesign ist es nicht.

Von gemma4 erzeugte Sektion Unsere Leistungen mit drei Karten und den Icons Warnsymbol, Mondsichel und Buch
Das Ergebnis von gemma4: ordentliches Raster, aber Mondsichel und Buch passen inhaltlich nicht. Eigener Test, November 2026.
Von qwen3.5 erzeugte Sektion mit drei Karten im Blocksatz und einem gelben Button Termin vereinbaren
Das Ergebnis von qwen3.5:4b: Blocksatz mit großen Lücken, ein nicht bestellter Button und erfundene Aussagen im Text. Eigener Test, November 2026.

Auffällig ist vor allem der Text. Qwen schrieb, die Praxis sei „rund um die Uhr“ da, und erfand eine „sichere telemedizinische Plattform“. Davon stand nichts in unserer Aufgabe. Solche Sätze wären auf einer echten Praxis-Website ein Problem, weil sie falsche Erwartungen wecken.

Wir haben beiden Modellen weitere Aufgaben aus dem Website-Alltag gestellt. Die Ergebnisse sind nur Stichproben, zeigen aber, welche Fehler Sie einplanen sollten.

Aufgabe gemma4 qwen3.5:4b
Fehler in JavaScript finden richtig erklärt und korrigiert Code richtig, Begründung falsch
Rechtsgrundlage Impressum nennt den abgelösten § 5 TMG erfindet „§ 57a BDSG“ und nennt Kontaktformulare als Pflicht
Preis von WP Rocket sagt, dass es den Preis nicht kennt nennt erfundene Preise ab 149 US-Dollar
Je ein Lauf ohne Internetzugriff der Modelle. Eigener Test, November 2026.

Die Impressumspflicht steht seit 2024 in § 5 Digitale-Dienste-Gesetz. Die Preisseite von WP Rocket nannte am Testtag für eine Website 4,16 Euro im Monat als Listenpreis und rabattiert 3,33 Euro, jährlich abgerechnet. Unsere beiden Modelle kannten also weder den heutigen Stand noch zuverlässig deutsches Recht. Bei Rechtstexten, Preisen und Fakten müssen Sie jede Aussage selbst prüfen. Auch das Zählen ist unzuverlässig, wie die falschen Zeichenzahlen im Chat zeigen.

Gemma kann auch Bilder auswerten. Einen Screenshot unserer Sektion beschrieb es im Großen und Ganzen richtig, nannte die Icons aber monochrom, obwohl das Buch farbig ist, und sah nicht, dass Mondsichel und Buch inhaltlich nicht passen. Der angeforderte Alt-Text enthielt den Tippfehler „Akutspechstunde“. Als Entwurf spart das Zeit, ungelesen übernehmen sollten Sie es nicht.

Ollama in Webprojekten nutzen

Ollama startet einen lokalen Server auf Port 11434. Neben der eigenen API unterstützt es einen Teil der OpenAI-Schnittstelle. Bestehender Code für OpenAI lässt sich dadurch oft umstellen, indem Sie die Adresse auf http://localhost:11434/v1/ und den Modellnamen auf ein lokales Modell ändern. Einen API-Key verlangt der Client weiterhin, Ollama ignoriert ihn laut Dokumentation. Nicht jede Funktion wird unterstützt.

Terminal mit einer Anfrage an localhost Port 11434 und einer JSON-Antwort im Format chat.completion
OpenAI-kompatibel, nur lokal: Die Antwort kommt als chat.completion zurück. jq kürzt sie hier auf drei Felder. Eigener Test, November 2026.
curl -s localhost:11434/v1/chat/completions \
  -d '{"model":"gemma4","messages":[{"role":"user","content":"Nenne in einem Satz einen Vorteil von Lazy Loading."}]}' \
  | jq '{object, model, antwort: .choices[0].message.content}'

Das Zusatzwerkzeug jq muss installiert sein, es kürzt nur die Ausgabe.

Wichtig zu wissen: Ein lokales Ollama ist kein Backend für die Besucher Ihrer Website. Es läuft auf Ihrem Gerät und bindet sich laut Dokumentation an 127.0.0.1. Auch Webseiten im Browser desselben Rechners dürfen nicht automatisch darauf zugreifen. Testseiten auf 127.0.0.1 und localhost gehen. Die eigene lokale Domain und die öffentliche Website aus unserem Test lehnte Ollama ab:

Anfrage an localhost:11434 von Ergebnis
http://127.0.0.1 (lokale Testseite) erlaubt
http://localhost (lokale Testseite) erlaubt
eigene lokale Domain (.local) abgelehnt
https://envyo.de (öffentliche Website) abgelehnt
Test in Chromium mit den Standardeinstellungen von Ollama. Eigener Test, November 2026.

Weitere Adressen schalten Sie laut Dokumentation mit OLLAMA_ORIGINS frei, die Netzwerkfreigabe steuert OLLAMA_HOST. Soll eine öffentliche Website ein Modell nutzen, brauchen Sie einen eigenen Server mit passender Hardware, Zugriffsschutz und einer eigenen Schnittstelle dazwischen. Das ist ein eigenes Webentwicklungs-Projekt.

Ollama mit Coding-Agenten

Der Befehl ollama launch öffnet ein Menü, das Coding-Werkzeuge wie Claude Code, Codex CLI und OpenCode mit Ollama verbindet. In der Modellwahl stehen lokale Modelle neben Cloud-Modellen, die eine Anmeldung verlangen.

Terminal mit dem Menü von ollama launch mit den Einträgen Claude Code, ChatGPT, Codex CLI, OpenCode und Hermes Agent
ollama launch verbindet Coding-Agenten und andere Apps mit Ollama. Eigener Test, November 2026.
Terminal mit der Modellauswahl für Claude Code mit Cloud-Modellen und lokalen Modellen
Empfehlungen in der Modellwahl: Cloud-Modelle und lokale Modelle, teils noch nicht heruntergeladen. Eigener Test, November 2026.

Eine Programmieraufgabe mit einem Agenten haben wir hier nicht getestet. Das Menü und die Modellwahl haben wir nur angesehen. Die Dokumentation empfiehlt für Agenten ein Kontextfenster, also die Textmenge, die das Modell gleichzeitig berücksichtigt, von mindestens 64.000 Tokens. Der Standard hängt laut Dokumentation vom Grafikspeicher ab: unter 24 GiB sind es 4k, von 24 bis 48 GiB 32k, ab 48 GiB 256k. Unser gemma4 zeigte 131.072, das entspricht den 128K, die die Bibliothek für dieses Modell nennt. Prüfen Sie den Wert also mit ollama ps.

Datenschutz und Kosten

Laut FAQ sieht Ollama Ihre Eingaben bei lokaler Nutzung nicht. In unserer Stichprobe während einer Anfrage hatte der Prozess nur Verbindungen auf dem eigenen Rechner. Bei Cloud-Modellen ist das anders: Dort werden Eingaben verarbeitet, laut Ollama aber weder gespeichert noch zum Training genutzt. Die Modelle laufen laut Ollama vor allem in den USA, bei Bedarf auch in Europa. Patientendaten gehören deshalb nicht ungeprüft in Cloud-Modelle. Wer sichergehen will, schaltet die Cloud-Funktionen laut FAQ mit "disable_ollama_cloud": true in ~/.ollama/server.json oder der Umgebungsvariable OLLAMA_NO_CLOUD=1 ab (in der Mac-App per launchctl setenv) und startet Ollama neu. Getestet haben wir das nicht.

Lokal kostet Ollama nichts außer Hardware und Strom. Für die Cloud nennt die Preisseite neben der Abrechnung nach Tokens die Pläne Pro für 20 US-Dollar und Max für 100 US-Dollar im Monat (Stand November 2026). Prüfen Sie außerdem die Lizenz des jeweiligen Modells, denn sie gilt unabhängig von Ollama.

Für wen lohnt sich Ollama?

Dafür

  • Kostenlos und Open Source
  • Kein Konto für die lokale Nutzung
  • Bei lokalen Modellen bleiben Eingaben laut Ollama lokal
  • Auf unserem M2 Max flüssig
  • API für eigene Skripte und Tools

Dagegen

  • Fachlich falsche Antworten in unserem Test
  • Größere Modelle brauchen viel Speicherplatz und Arbeitsspeicher
  • App-Chat nicht sofort auffindbar, vieles läuft im Terminal
  • Kein Backend für Website-Besucher
  • Ohne Websuche kein Zugriff auf aktuelle Daten

Passt Ollama zu Ihrer Aufgabe?

Sollen Besucher Ihrer Website direkt mit dem Modell arbeiten?

Arbeiten Sie mit Texten oder Code, die Ihren Rechner möglichst nicht verlassen sollen?

Reicht Ihnen ein einfacher Chat, oder wollen Sie Ollama auch per Terminal und API nutzen?

Lokal reicht das nicht. Dafür brauchen Sie einen abgesicherten Server und eine Schnittstelle dazwischen. Prüfen Sie auch, ob ein fertiger Dienst günstiger ist.

Ein Cloud-Dienst ist oft einfacher. Sie brauchen keine eigene Hardware und können auch große Modelle nutzen.

Ollama passt gut. Starten Sie mit einem kleinen Modell, testen Sie Ihre typischen Aufgaben und prüfen Sie die Ergebnisse.

Die App reicht. Laden Sie ein Modell, öffnen Sie über „File“ und „New Chat“ den Chat und lassen Sie Cloud-Modelle und Websuche weg, wenn Eingaben auf dem Rechner bleiben sollen.

Das Tempo hat uns auf dem M2 Max überzeugt, bis auf einen ungeklärten Hänger. Die Bedienung ist im Terminal einfach, in der App weniger selbsterklärend. Für Entwürfe, Code-Hilfen und Experimente mit eigenen Daten ist es ein nützliches Werkzeug. Die Grenzen liegen bei den Modellen: Rechtsangaben, Preise und frei erfundene Details machen eine Prüfung unverzichtbar.

Wenn wir bei envyo KI in WordPress-Projekten und Websites einsetzen, gilt deshalb derselbe Grundsatz wie in diesem Test: Erst messen, dann bewerten, und nichts ungeprüft veröffentlichen. Mehr zu den Unterschieden bei KI-Texten lesen Sie in unserem Beitrag über KI-Textgeneratoren.

Häufige Fragen

Ist Ollama kostenlos?

Die lokale Nutzung ist kostenlos, das Projekt steht unter der MIT-Lizenz. Kosten entstehen nur für Hardware und Strom. Cloud-Modelle rechnet Ollama nach Tokens oder über Bezahlpläne ab.

Brauche ich für Ollama ein Konto?

Für lokale Modelle nicht. In unserem Test konnten wir das Kontoangebot der App mit einem Klick überspringen und beide Modelle ohne Anmeldung nutzen. Cloud-Modelle verlangen eine Anmeldung.

Bleiben meine Daten bei Ollama lokal?

Laut Ollama sieht das Unternehmen Eingaben bei lokaler Nutzung nicht, und in unserer Stichprobe hatte der Prozess nur Verbindungen auf dem eigenen Rechner. Bei Cloud-Modellen verlassen die Eingaben dagegen Ihr Gerät.

Kann ich Ollama direkt auf meiner Website einsetzen?

Nicht in der Standardeinstellung. Ollama läuft auf Ihrem Gerät, und Besucher erreichen es nicht. Für eine öffentliche Website brauchen Sie einen eigenen abgesicherten Server und eine Schnittstelle dazwischen.

Wie gut sind lokale Modelle für Website-Texte?

Als Entwurf brauchbar, aber nicht ungeprüft. In unserem Test erfand ein Modell Aussagen zur Erreichbarkeit und Preise, das andere nannte ein abgelöstes Gesetz. Fakten müssen Sie selbst prüfen.

Welche Hardware brauche ich für Ollama?

Das hängt vom Modell ab. Unsere Testmodelle belegten 4 und 9,5 GB auf der Festplatte, gemma4 brauchte geladen 9,4 GB Speicher. Getestet haben wir nur auf einem Mac mit M2 Max und 64 GB, andere Geräte können deutlich langsamer sein.

Quellen: Eigener Test mit Ollama 0.40.13 am 2. November 2026 auf Apple M2 Max mit 64 GB (Modelle gemma4 und qwen3.5:4b). Ollama-Dokumentation auf docs.ollama.com: FAQ, macOS, CLI, Quickstart, OpenAI-Kompatibilität, API-Einführung, Claude Code und Kontextlänge. ollama.com: Bibliothek, Download und Preisseite. GitHub-Projekt ollama/ollama. Digitale-Dienste-Gesetz § 5 auf gesetze-im-internet.de. Preisseite wp-rocket.me. Abgerufen am 2. November 2026. Stand: November 2026.

Passend dazu bei envyo