Guide e analisi
Interrogare i tuoi documenti con l'IA locale: RAG con Open WebUI
Come creare una ricerca con IA sui tuoi documenti: quali modelli caricare, come creare una base di conoscenza in Open WebUI, quali impostazioni modificare e come verificare che nulla esca dalla tua rete.
In breve
- Con Ollama e Open WebUI puoi interrogare PDF e documenti dal browser e vedere da quale passaggio proviene ogni risposta.
- Servono due modelli: uno per la chat e uno di embedding, che cerca i passaggi. bge-m3 occupa 1,2 GB e supporta più lingue.
- Un modello di chat locale non basta: controlla anche dove viene estratto il testo, dove si calcolano gli embedding e dove vengono riordinati i risultati.
Che cos'è il RAG
RAG significa «generazione aumentata tramite recupero». Invece di sperare che il modello conosca il contenuto del tuo contratto, il programma cerca nei documenti i passaggi simili alla tua domanda e li passa al modello insieme a essa. Il modello risponde sulla base di quei passaggi.
Per rendere possibile la ricerca, ogni documento viene diviso in frammenti e un modello di embedding converte ogni frammento in una lista di numeri che ne rappresenta il significato. La tua domanda passa per lo stesso modello e il sistema recupera i frammenti più vicini.
Il RAG non garantisce una risposta corretta: se la ricerca trova il passaggio sbagliato, il modello risponderà basandosi su quello. Controlla quindi sempre la citazione nel documento originale, soprattutto per temi legali o economici.
Quali modelli per ogni computer
Il modello di chat e quello di embedding occupano memoria nello stesso momento. Serve anche spazio per il contesto, che qui cresce perché include i passaggi recuperati.
| Computer | Memoria per la GPU | Modello di chat | Embedding | Totale modelli |
|---|---|---|---|---|
| HX 370 Slim (32 GB) | Fino a 24 GB | gpt-oss-20b (12,1 GB) | bge-m3 (1,2 GB) | 13,3 GB |
| 395 Compact (128 GB) | Fino a 96 GB su Windows | gpt-oss-120b (63,4 GB) | bge-m3 (1,2 GB) | 64,6 GB |
| PRO 495 Gold (192 GB) | Fino a 160 GB | Qwen3-235B-A22B (142,2 GB) | bge-m3 (1,2 GB) | 143,4 GB |
Dimensioni dei modelli di chat: file GGUF pubblicati su Hugging Face, misurati il 19/10/2026. Dimensione di bge-m3: libreria di Ollama, consultata l'08/11/2026.
Sono punti di partenza, non le uniche scelte possibili. Qwen3-235B riempie quasi tutta la memoria del PRO 495: se vuoi più margine per il contesto, su questo computer funziona anche gpt-oss-120b. Trovi altri modelli e i calcoli in Quanta memoria serve per un LLM locale?
Passo 1: scaricare i due modelli
Se non hai ancora assegnato memoria alla GPU né installato Ollama, segui prima Come eseguire LLM in locale con un Ryzen AI Max+. Poi:
ollama pull gpt-oss:120b
ollama pull bge-m3Su un computer da 32 GB, scarica gpt-oss:20b al posto del primo. Abbiamo scelto bge-m3 perché i suoi autori indicano che supporta più di 100 lingue e testi fino a 8.192 token, utile se i tuoi documenti non sono solo in inglese. Open WebUI include di serie all-MiniLM-L6-v2, sufficiente per provare senza configurare nulla.
Passo 2: installare Open WebUI
Con Docker installato sullo stesso computer di Ollama, questo è il comando fornito dal progetto:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainApri http://localhost:3000 e crea l'account di amministratore. Se Ollama non risulta collegato, aggiungi il suo indirizzo nelle impostazioni di connessione: dall'interno del container è http://host.docker.internal:11434. Prima di proseguire, verifica che la chat risponda con il tuo modello.
Passo 3: configurare gli embedding
- Apri Admin Settings › Documents.
- Scegli Ollama come motore di embedding e
bge-m3come modello. - Salva. Se avevi già caricato documenti con un altro modello, reindicizzali dalla stessa pagina: i vettori di un modello non valgono per un altro.
Passo 4: creare la base di conoscenza
- Vai in Workspace › Knowledge e fai clic su Create.
- Carica prima un piccolo documento con testo selezionabile e attendi la fine dell'elaborazione.
- Nella chat, digita
#e scegli la base di conoscenza, oppure associala a un modello in Workspace › Models. - Fai una domanda di cui conosci la risposta e chiedi di citare il passaggio. Confronta la risposta con l'originale.
Modelli con strumenti: secondo la sua documentazione, Open WebUI lascia decidere al modello quando cercare nella base di conoscenza, e per farlo il modello deve saper usare gli strumenti. La libreria di Ollama indica gpt-oss come compatibile. Se il tuo non trova un dato che sai essere presente, provane un altro.
Passo 5: migliorare i risultati
Parti dai valori che Open WebUI propone per i modelli locali e cambiali uno alla volta, ripetendo sempre le stesse domande di prova:
| Impostazione | Punto di partenza | A cosa serve |
|---|---|---|
| Text Splitter | token | Misura i frammenti in token |
| Markdown Header Text Splitter | Attivo | Rispetta le sezioni del documento |
| Chunk Size | 1.000 | Dimensione massima di un frammento |
| Chunk Overlap | 100 | Testo condiviso tra frammenti vicini |
| Top K | Da 3 a 5 | Quanti frammenti arrivano al modello |
Il conto del contesto è semplice: 5 frammenti da 1.000 token sono circa 5.000 token, senza contare la conversazione. Controlla il contesto del tuo modello con ollama ps. Ollama lo fissa in base alla memoria video che rileva (32.000 token da 24 a 48 GiB e 256.000 da 48 GiB in su), e puoi cambiarlo con la variabile OLLAMA_CONTEXT_LENGTH.
Se i risultati non migliorano, prova due opzioni:
- Ricerca ibrida: combina la ricerca per significato con quella per parole esatte (BM25) e riordina i risultati. Aiuta con riferimenti, nomi e numeri di clausola.
- Using Entire Document: invia il documento intero invece dei frammenti. Con i documenti brevi può dare risposte migliori, perché il modello vede tutto.
Come verificare che tutto resti nella tua rete
La documentazione di Open WebUI lo ricorda: un modello di chat locale non basta a rendere locale anche l'elaborazione dei documenti. Controlla questi punti in Admin Settings › Documents:
- Estrazione del testo: alcuni motori, come Mistral OCR, sono servizi esterni. Per i PDF scansionati puoi attivare l'OCR locale o installare tu stesso Tika o Docling.
- Embedding: devono puntare al tuo Ollama, non a un'API esterna.
- Riordinamento: se lo attivi, anche il suo modello deve essere locale.
- Ricerca web: se non ti serve, lasciala disattivata.
Per lavorare senza Internet, il progetto documenta una modalità offline (OFFLINE_MODE=true e HF_HUB_OFFLINE=1), che richiede di aver scaricato prima tutti i modelli. Se tratti dati personali, leggi anche IA locale in azienda: privacy, GDPR e controllo dei costi: tenere i dati in casa non elimina gli altri obblighi.
Problemi comuni
- Il modello non trova il dato: verifica che il documento sia stato elaborato e che la base di conoscenza sia selezionata in quella conversazione.
- Un PDF risulta vuoto: probabilmente è un'immagine scansionata. Attiva PDF Extract Images (OCR) o usa un altro motore di estrazione.
- Usa solo una parte del documento: il contesto è troppo corto. Aumentalo o riduci Top K.
- Le risposte successive sono lente: quando i passaggi cambiano posizione, il modello deve rielaborare il contesto. La guida di Open WebUI spiega come tenerli in una posizione fissa.
Non sai quale computer sia adatto al tuo volume di documenti? Raccontaci il tuo caso.