Guías y análisis
Cómo preguntar a tus documentos con IA local: RAG con Open WebUI
Cómo montar un buscador con IA sobre tus propios documentos: qué modelos cargar, cómo crear una base de conocimiento en Open WebUI, qué ajustes tocar y cómo comprobar que nada sale de tu red.
En resumen
- Con Ollama y Open WebUI puedes preguntar a tus PDF y documentos desde el navegador y ver de qué pasaje sale cada respuesta.
- Necesitas dos modelos: uno de chat y otro de embeddings, que busca los pasajes. bge-m3 ocupa 1,2 GB y admite varios idiomas.
- Que el modelo de chat sea local no basta: comprueba también dónde se extrae el texto, dónde se calculan los embeddings y dónde se reordenan los resultados.
Qué es el RAG
RAG significa «generación aumentada por recuperación». En lugar de esperar que el modelo sepa lo que dice tu contrato, el programa busca en tus documentos los pasajes que se parecen a tu pregunta y se los pasa al modelo junto con ella. El modelo responde a partir de esos pasajes.
Para poder buscar, cada documento se divide en fragmentos y un modelo de embeddings convierte cada fragmento en una lista de números que representa su significado. Tu pregunta pasa por el mismo modelo, y el sistema recupera los fragmentos más cercanos.
El RAG no garantiza que la respuesta sea correcta: si la búsqueda trae el pasaje equivocado, el modelo responderá sobre él. Por eso conviene comprobar siempre la cita en el documento original, sobre todo en temas legales o económicos.
Qué modelos caben en cada equipo
El modelo de chat y el de embeddings ocupan memoria a la vez, y además hay que dejar sitio para el contexto, que aquí crece porque incluye los pasajes recuperados.
| Equipo | Memoria para la gráfica | Modelo de chat | Embeddings | Total de los modelos |
|---|---|---|---|---|
| HX 370 Slim (32 GB) | Hasta 24 GB | gpt-oss-20b (12,1 GB) | bge-m3 (1,2 GB) | 13,3 GB |
| 395 Compact (128 GB) | Hasta 96 GB en Windows | gpt-oss-120b (63,4 GB) | bge-m3 (1,2 GB) | 64,6 GB |
| PRO 495 Gold (192 GB) | Hasta 160 GB | Qwen3-235B-A22B (142,2 GB) | bge-m3 (1,2 GB) | 143,4 GB |
Tamaños de chat: ficheros GGUF publicados en Hugging Face, medidos el 19/10/2026. Tamaño de bge-m3: biblioteca de Ollama, consultada el 08/11/2026.
Son puntos de partida, no los únicos posibles. Qwen3-235B llena casi toda la memoria del PRO 495: si quieres más margen para el contexto, gpt-oss-120b también funciona en ese equipo. Tienes más modelos y cuentas en ¿Cuánta memoria necesita un LLM local?
Paso 1: descargar los dos modelos
Si aún no has dado memoria a la gráfica ni has instalado Ollama, sigue primero Cómo ejecutar LLM en local con un Ryzen AI Max+. Después:
ollama pull gpt-oss:120b
ollama pull bge-m3En un equipo de 32 GB, descarga gpt-oss:20b en lugar del primero. Elegimos bge-m3 porque sus autores indican que admite más de 100 idiomas y textos de hasta 8.192 tokens, algo útil si tus documentos no están solo en inglés. Open WebUI trae por defecto all-MiniLM-L6-v2, que sirve para probar sin configurar nada.
Paso 2: instalar Open WebUI
Con Docker instalado en el mismo equipo que Ollama, este es el comando que da el proyecto:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainAbre http://localhost:3000 y crea la cuenta de administrador. Si Ollama no aparece conectado, añade su dirección en los ajustes de conexiones: desde dentro del contenedor es http://host.docker.internal:11434. Antes de seguir, comprueba que el chat responde con tu modelo.
Paso 3: configurar los embeddings
- Entra en Admin Settings › Documents.
- Como motor de embeddings elige Ollama y, como modelo,
bge-m3. - Guarda. Si ya habías subido documentos con otro modelo, reindéxalos desde esa misma página: los vectores de un modelo no sirven para otro.
Paso 4: crear la base de conocimiento
- Ve a Workspace › Knowledge y pulsa Create.
- Sube primero un documento pequeño con texto seleccionable y espera a que termine de procesarse.
- En el chat, escribe
#y elige la base de conocimiento, o asóciala a un modelo en Workspace › Models. - Haz una pregunta cuya respuesta conozcas y pide que cite el pasaje. Compara la respuesta con el original.
Modelos con herramientas: según su documentación, Open WebUI deja que el modelo decida cuándo buscar en la base de conocimiento, y para eso el modelo debe saber usar herramientas. La biblioteca de Ollama marca gpt-oss como compatible. Si el tuyo no encuentra un dato que sabes que está, prueba otro modelo.
Paso 5: afinar los resultados
Empieza por los valores que Open WebUI propone para modelos locales y cámbialos de uno en uno, repitiendo siempre las mismas preguntas de prueba:
| Ajuste | Punto de partida | Para qué sirve |
|---|---|---|
| Text Splitter | token |
Mide los fragmentos en tokens |
| Markdown Header Text Splitter | Activado | Respeta los apartados del documento |
| Chunk Size | 1.000 | Tamaño máximo de cada fragmento |
| Chunk Overlap | 100 | Texto compartido entre fragmentos vecinos |
| Top K | De 3 a 5 | Cuántos fragmentos llegan al modelo |
La cuenta del contexto es sencilla: 5 fragmentos de 1.000 tokens son unos 5.000 tokens antes de contar la conversación. Comprueba cuánto contexto tiene tu modelo con ollama ps. Ollama lo fija según la memoria de vídeo que detecta (32.000 tokens de 24 a 48 GiB y 256.000 a partir de 48 GiB), y puedes cambiarlo con la variable OLLAMA_CONTEXT_LENGTH.
Si los resultados siguen fallando, prueba dos opciones:
- Búsqueda híbrida: combina la búsqueda por significado con la de palabras exactas (BM25) y reordena los resultados. Ayuda con referencias, nombres y números de cláusula.
- Using Entire Document: envía el documento completo en lugar de fragmentos. Para documentos cortos puede dar mejores respuestas, porque el modelo lo ve todo.
Cómo comprobar que todo se queda en tu red
La documentación de Open WebUI lo advierte: un modelo de chat local no basta para que el procesado de documentos también lo sea. Revisa en Admin Settings › Documents estos puntos:
- Extracción de texto: algunos motores, como Mistral OCR, son servicios externos. Para PDF escaneados puedes activar el OCR local o usar Tika o Docling instalados por ti.
- Embeddings: que apunten a tu Ollama, no a una API externa.
- Reordenación: si la activas, que el modelo también sea local.
- Búsqueda web: si no la necesitas, déjala desactivada.
Para un funcionamiento sin Internet, el proyecto documenta un modo sin conexión (OFFLINE_MODE=true y HF_HUB_OFFLINE=1), que exige tener descargados antes todos los modelos. Si vas a tratar datos personales, lee también IA local en la empresa: privacidad, RGPD y control de costes: que los datos no salgan no elimina tus demás obligaciones.
Problemas habituales
- El modelo dice que no encuentra el dato: comprueba que el documento terminó de procesarse y que la base de conocimiento está seleccionada en esa conversación.
- Un PDF aparece vacío: probablemente sea una imagen escaneada. Activa PDF Extract Images (OCR) o usa otro motor de extracción.
- Solo usa una parte del documento: el contexto es corto. Súbelo o reduce Top K.
- Las respuestas de seguimiento tardan mucho: al cambiar los pasajes, el modelo tiene que volver a procesar el contexto. La guía de Open WebUI explica cómo mantenerlos en una posición fija.
Si no sabes qué equipo encaja con tu volumen de documentos, cuéntanos tu caso.