Ratgeber und Analysen
Fragen an deine Dokumente mit lokaler KI: RAG mit Open WebUI
So richtest du eine KI-Suche über deine eigenen Dokumente ein: welche Modelle du lädst, wie du in Open WebUI eine Wissensdatenbank anlegst, welche Einstellungen zählen und wie du prüfst, dass nichts dein Netzwerk verlässt.
Kurz gesagt
- Mit Ollama und Open WebUI kannst du deine PDFs und Dokumente im Browser befragen und sehen, aus welcher Passage jede Antwort stammt.
- Du brauchst zwei Modelle: eines für den Chat und ein Embedding-Modell, das die Passagen sucht. bge-m3 belegt 1,2 GB und unterstützt mehrere Sprachen.
- Ein lokales Chat-Modell allein reicht nicht: Prüfe auch, wo der Text extrahiert, wo die Embeddings berechnet und wo die Ergebnisse neu sortiert werden.
Was RAG ist
RAG steht für „Retrieval Augmented Generation“. Statt darauf zu hoffen, dass das Modell den Inhalt deines Vertrags kennt, sucht das Programm in deinen Dokumenten nach Passagen, die zu deiner Frage passen, und gibt sie zusammen mit der Frage an das Modell weiter. Das Modell antwortet auf Grundlage dieser Passagen.
Für die Suche wird jedes Dokument in Abschnitte zerlegt. Ein Embedding-Modell wandelt jeden Abschnitt in eine Zahlenliste um, die seine Bedeutung abbildet. Deine Frage durchläuft dasselbe Modell, und das System holt die Abschnitte, die ihr am nächsten liegen.
RAG garantiert keine richtige Antwort: Findet die Suche die falsche Passage, antwortet das Modell darauf. Prüfe das Zitat deshalb immer im Originaldokument, vor allem bei rechtlichen oder finanziellen Themen.
Welche Modelle auf welches Gerät passen
Chat- und Embedding-Modell belegen gleichzeitig Speicher. Außerdem braucht der Kontext Platz, und der wächst hier, weil er die gefundenen Passagen enthält.
| Gerät | Speicher für die Grafik | Chat-Modell | Embeddings | Modelle gesamt |
|---|---|---|---|---|
| HX 370 Slim (32 GB) | Bis 24 GB | gpt-oss-20b (12,1 GB) | bge-m3 (1,2 GB) | 13,3 GB |
| 395 Compact (128 GB) | Bis 96 GB unter Windows | gpt-oss-120b (63,4 GB) | bge-m3 (1,2 GB) | 64,6 GB |
| PRO 495 Gold (192 GB) | Bis 160 GB | Qwen3-235B-A22B (142,2 GB) | bge-m3 (1,2 GB) | 143,4 GB |
Größe der Chat-Modelle: auf Hugging Face veröffentlichte GGUF-Dateien, gemessen am 19.10.2026. Größe von bge-m3: Ollama-Bibliothek, abgerufen am 08.11.2026.
Das sind Ausgangspunkte, keine festen Vorgaben. Qwen3-235B füllt fast den gesamten Speicher des PRO 495. Wenn du mehr Platz für den Kontext möchtest, läuft auch gpt-oss-120b auf diesem Gerät. Weitere Modelle und Rechenwege findest du unter Wie viel Speicher braucht ein lokales LLM?
Schritt 1: die beiden Modelle herunterladen
Falls du der Grafik noch keinen Speicher zugewiesen und Ollama nicht installiert hast, folge zuerst Lokale LLMs auf einem Ryzen AI Max+ ausführen. Danach:
ollama pull gpt-oss:120b
ollama pull bge-m3Auf einem Gerät mit 32 GB lädst du statt des ersten Modells gpt-oss:20b. Wir haben bge-m3 gewählt, weil es laut seinen Entwicklern mehr als 100 Sprachen und Texte mit bis zu 8.192 Tokens unterstützt. Das hilft, wenn deine Dokumente nicht nur auf Englisch sind. Open WebUI bringt standardmäßig all-MiniLM-L6-v2 mit, das zum Ausprobieren ohne Einrichtung genügt.
Schritt 2: Open WebUI installieren
Ist Docker auf demselben Gerät wie Ollama installiert, nutzt du diesen Befehl des Projekts:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainÖffne http://localhost:3000 und lege das Administratorkonto an. Erscheint Ollama nicht als verbunden, trage seine Adresse in den Verbindungseinstellungen ein: Aus dem Container heraus lautet sie http://host.docker.internal:11434. Prüfe vor dem nächsten Schritt, ob der Chat mit deinem Modell antwortet.
Schritt 3: Embeddings einrichten
- Öffne Admin Settings › Documents.
- Wähle Ollama als Embedding-Engine und
bge-m3als Modell. - Speichere. Hattest du schon Dokumente mit einem anderen Modell hochgeladen, indexiere sie auf derselben Seite neu: Die Vektoren eines Modells passen nicht zu einem anderen.
Schritt 4: die Wissensdatenbank anlegen
- Gehe zu Workspace › Knowledge und klicke auf Create.
- Lade zuerst ein kleines Dokument mit auswählbarem Text hoch und warte, bis die Verarbeitung abgeschlossen ist.
- Tippe im Chat
#und wähle die Wissensdatenbank aus, oder verknüpfe sie unter Workspace › Models mit einem Modell. - Stelle eine Frage, deren Antwort du kennst, und lass dir die Passage zitieren. Vergleiche die Antwort mit dem Original.
Modelle mit Tools: Laut Dokumentation lässt Open WebUI das Modell entscheiden, wann es in der Wissensdatenbank sucht. Dafür muss das Modell mit Tools umgehen können. Die Ollama-Bibliothek führt gpt-oss als kompatibel. Findet dein Modell eine Angabe nicht, die sicher vorhanden ist, probiere ein anderes.
Schritt 5: die Ergebnisse verbessern
Beginne mit den Werten, die Open WebUI für lokale Modelle vorschlägt, und ändere sie einzeln. Wiederhole dabei immer dieselben Testfragen:
| Einstellung | Startwert | Zweck |
|---|---|---|
| Text Splitter | token | Misst die Abschnitte in Tokens |
| Markdown Header Text Splitter | Aktiviert | Behält die Gliederung des Dokuments bei |
| Chunk Size | 1.000 | Maximale Größe eines Abschnitts |
| Chunk Overlap | 100 | Gemeinsamer Text benachbarter Abschnitte |
| Top K | 3 bis 5 | Wie viele Abschnitte das Modell erhält |
Die Rechnung für den Kontext ist einfach: 5 Abschnitte mit je 1.000 Tokens ergeben rund 5.000 Tokens, noch ohne das Gespräch. Wie viel Kontext dein Modell hat, zeigt ollama ps. Ollama legt ihn nach dem erkannten Grafikspeicher fest (32.000 Tokens bei 24 bis 48 GiB, 256.000 ab 48 GiB). Du kannst ihn mit der Variablen OLLAMA_CONTEXT_LENGTH ändern.
Wenn die Ergebnisse weiter danebenliegen, probiere zwei Optionen:
- Hybride Suche: Sie verbindet die Suche nach Bedeutung mit der nach exakten Wörtern (BM25) und sortiert die Ergebnisse neu. Das hilft bei Aktenzeichen, Namen und Klauselnummern.
- Using Entire Document: Das Dokument wird vollständig statt in Abschnitten gesendet. Bei kurzen Dokumenten kann das bessere Antworten liefern, weil das Modell alles sieht.
So prüfst du, dass alles in deinem Netzwerk bleibt
Die Dokumentation von Open WebUI warnt: Ein lokales Chat-Modell allein macht die Dokumentenverarbeitung noch nicht lokal. Prüfe unter Admin Settings › Documents diese Punkte:
- Textextraktion: Manche Engines wie Mistral OCR sind externe Dienste. Für gescannte PDFs kannst du die lokale OCR aktivieren oder Tika oder Docling selbst installieren.
- Embeddings: Sie müssen auf dein Ollama zeigen, nicht auf eine externe API.
- Neusortierung: Wenn du sie aktivierst, muss auch dieses Modell lokal sein.
- Websuche: Lass sie deaktiviert, wenn du sie nicht brauchst.
Für den Betrieb ohne Internet dokumentiert das Projekt einen Offline-Modus (OFFLINE_MODE=true und HF_HUB_OFFLINE=1). Dafür müssen alle Modelle vorher heruntergeladen sein. Wenn du personenbezogene Daten verarbeitest, lies auch Lokale KI im Unternehmen: Datenschutz, DSGVO und Kostenkontrolle: Dass die Daten im Haus bleiben, hebt deine übrigen Pflichten nicht auf.
Häufige Probleme
- Das Modell findet die Angabe nicht: Prüfe, ob das Dokument fertig verarbeitet und die Wissensdatenbank in diesem Gespräch ausgewählt ist.
- Ein PDF erscheint leer: Vermutlich ist es ein gescanntes Bild. Aktiviere PDF Extract Images (OCR) oder nutze eine andere Extraktions-Engine.
- Es wird nur ein Teil des Dokuments genutzt: Der Kontext ist zu kurz. Erhöhe ihn oder senke Top K.
- Folgeantworten dauern lange: Wenn sich die Passagen verschieben, muss das Modell den Kontext neu verarbeiten. Die Anleitung von Open WebUI erklärt, wie du sie an einer festen Position hältst.
Du weißt nicht, welches Gerät zu deiner Dokumentenmenge passt? Erzähl uns von deinem Fall.