Guías y análisis

Cómo preguntar a tus documentos con IA local: RAG con Open WebUI

Cómo montar un buscador con IA sobre tus propios documentos: qué modelos cargar, cómo crear una base de conocimiento en Open WebUI, qué ajustes tocar y cómo comprobar que nada sale de tu red.

6 min de lectura

Preguntar a tus documentos con RAG en un mini PC con IA local

En resumen

  • Con Ollama y Open WebUI puedes preguntar a tus PDF y documentos desde el navegador y ver de qué pasaje sale cada respuesta.
  • Necesitas dos modelos: uno de chat y otro de embeddings, que busca los pasajes. bge-m3 ocupa 1,2 GB y admite varios idiomas.
  • Que el modelo de chat sea local no basta: comprueba también dónde se extrae el texto, dónde se calculan los embeddings y dónde se reordenan los resultados.

Qué es el RAG

RAG significa «generación aumentada por recuperación». En lugar de esperar que el modelo sepa lo que dice tu contrato, el programa busca en tus documentos los pasajes que se parecen a tu pregunta y se los pasa al modelo junto con ella. El modelo responde a partir de esos pasajes.

Para poder buscar, cada documento se divide en fragmentos y un modelo de embeddings convierte cada fragmento en una lista de números que representa su significado. Tu pregunta pasa por el mismo modelo, y el sistema recupera los fragmentos más cercanos.

El RAG no garantiza que la respuesta sea correcta: si la búsqueda trae el pasaje equivocado, el modelo responderá sobre él. Por eso conviene comprobar siempre la cita en el documento original, sobre todo en temas legales o económicos.

Qué modelos caben en cada equipo

El modelo de chat y el de embeddings ocupan memoria a la vez, y además hay que dejar sitio para el contexto, que aquí crece porque incluye los pasajes recuperados.

Equipo Memoria para la gráfica Modelo de chat Embeddings Total de los modelos
HX 370 Slim (32 GB) Hasta 24 GB gpt-oss-20b (12,1 GB) bge-m3 (1,2 GB) 13,3 GB
395 Compact (128 GB) Hasta 96 GB en Windows gpt-oss-120b (63,4 GB) bge-m3 (1,2 GB) 64,6 GB
PRO 495 Gold (192 GB) Hasta 160 GB Qwen3-235B-A22B (142,2 GB) bge-m3 (1,2 GB) 143,4 GB

Tamaños de chat: ficheros GGUF publicados en Hugging Face, medidos el 19/10/2026. Tamaño de bge-m3: biblioteca de Ollama, consultada el 08/11/2026.

Son puntos de partida, no los únicos posibles. Qwen3-235B llena casi toda la memoria del PRO 495: si quieres más margen para el contexto, gpt-oss-120b también funciona en ese equipo. Tienes más modelos y cuentas en ¿Cuánta memoria necesita un LLM local?

Paso 1: descargar los dos modelos

Si aún no has dado memoria a la gráfica ni has instalado Ollama, sigue primero Cómo ejecutar LLM en local con un Ryzen AI Max+. Después:

ollama pull gpt-oss:120b
ollama pull bge-m3

En un equipo de 32 GB, descarga gpt-oss:20b en lugar del primero. Elegimos bge-m3 porque sus autores indican que admite más de 100 idiomas y textos de hasta 8.192 tokens, algo útil si tus documentos no están solo en inglés. Open WebUI trae por defecto all-MiniLM-L6-v2, que sirve para probar sin configurar nada.

Paso 2: instalar Open WebUI

Con Docker instalado en el mismo equipo que Ollama, este es el comando que da el proyecto:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Abre http://localhost:3000 y crea la cuenta de administrador. Si Ollama no aparece conectado, añade su dirección en los ajustes de conexiones: desde dentro del contenedor es http://host.docker.internal:11434. Antes de seguir, comprueba que el chat responde con tu modelo.

Paso 3: configurar los embeddings

  1. Entra en Admin Settings › Documents.
  2. Como motor de embeddings elige Ollama y, como modelo, bge-m3.
  3. Guarda. Si ya habías subido documentos con otro modelo, reindéxalos desde esa misma página: los vectores de un modelo no sirven para otro.

Paso 4: crear la base de conocimiento

  1. Ve a Workspace › Knowledge y pulsa Create.
  2. Sube primero un documento pequeño con texto seleccionable y espera a que termine de procesarse.
  3. En el chat, escribe # y elige la base de conocimiento, o asóciala a un modelo en Workspace › Models.
  4. Haz una pregunta cuya respuesta conozcas y pide que cite el pasaje. Compara la respuesta con el original.

Modelos con herramientas: según su documentación, Open WebUI deja que el modelo decida cuándo buscar en la base de conocimiento, y para eso el modelo debe saber usar herramientas. La biblioteca de Ollama marca gpt-oss como compatible. Si el tuyo no encuentra un dato que sabes que está, prueba otro modelo.

Paso 5: afinar los resultados

Empieza por los valores que Open WebUI propone para modelos locales y cámbialos de uno en uno, repitiendo siempre las mismas preguntas de prueba:

Ajuste Punto de partida Para qué sirve
Text Splitter token Mide los fragmentos en tokens
Markdown Header Text Splitter Activado Respeta los apartados del documento
Chunk Size 1.000 Tamaño máximo de cada fragmento
Chunk Overlap 100 Texto compartido entre fragmentos vecinos
Top K De 3 a 5 Cuántos fragmentos llegan al modelo

La cuenta del contexto es sencilla: 5 fragmentos de 1.000 tokens son unos 5.000 tokens antes de contar la conversación. Comprueba cuánto contexto tiene tu modelo con ollama ps. Ollama lo fija según la memoria de vídeo que detecta (32.000 tokens de 24 a 48 GiB y 256.000 a partir de 48 GiB), y puedes cambiarlo con la variable OLLAMA_CONTEXT_LENGTH.

Si los resultados siguen fallando, prueba dos opciones:

  • Búsqueda híbrida: combina la búsqueda por significado con la de palabras exactas (BM25) y reordena los resultados. Ayuda con referencias, nombres y números de cláusula.
  • Using Entire Document: envía el documento completo en lugar de fragmentos. Para documentos cortos puede dar mejores respuestas, porque el modelo lo ve todo.

Cómo comprobar que todo se queda en tu red

La documentación de Open WebUI lo advierte: un modelo de chat local no basta para que el procesado de documentos también lo sea. Revisa en Admin Settings › Documents estos puntos:

  • Extracción de texto: algunos motores, como Mistral OCR, son servicios externos. Para PDF escaneados puedes activar el OCR local o usar Tika o Docling instalados por ti.
  • Embeddings: que apunten a tu Ollama, no a una API externa.
  • Reordenación: si la activas, que el modelo también sea local.
  • Búsqueda web: si no la necesitas, déjala desactivada.

Para un funcionamiento sin Internet, el proyecto documenta un modo sin conexión (OFFLINE_MODE=true y HF_HUB_OFFLINE=1), que exige tener descargados antes todos los modelos. Si vas a tratar datos personales, lee también IA local en la empresa: privacidad, RGPD y control de costes: que los datos no salgan no elimina tus demás obligaciones.

Problemas habituales

  • El modelo dice que no encuentra el dato: comprueba que el documento terminó de procesarse y que la base de conocimiento está seleccionada en esa conversación.
  • Un PDF aparece vacío: probablemente sea una imagen escaneada. Activa PDF Extract Images (OCR) o usa otro motor de extracción.
  • Solo usa una parte del documento: el contexto es corto. Súbelo o reduce Top K.
  • Las respuestas de seguimiento tardan mucho: al cambiar los pasajes, el modelo tiene que volver a procesar el contexto. La guía de Open WebUI explica cómo mantenerlos en una posición fija.

Si no sabes qué equipo encaja con tu volumen de documentos, cuéntanos tu caso.

Fuentes

Sigue leyendo

Mini PC para ejecutar inteligencia artificial en local, en tu propio equipo. Con envío a toda la Unión Europea.

Envío gratis a España y la UE · 14 días de desistimiento · Garantía legal de 3 años

Medios de pago
  • American Express
  • Maestro
  • Mastercard
  • PayPal
  • Visa

© 2026 RobitoPC · AMD, Ryzen y Radeon son marcas de Advanced Micro Devices, Inc. Tienda independiente, sin relación con AMD.

Web hecha por milenaweb.es