
Evaluación y auditoría de un RAG: mejorarlo o sustituirlo
¿Tu RAG interno decepciona? Plantilla de auditoría en 7 capas, pruebas para tu herramienta, método de evaluación RAG y criterios para mejorarlo o sustituirlo.
Muchos departamentos de TI con los que hablamos llegan a la evaluación de un RAG por el mismo camino. Un equipo técnico montó un RAG propio en 2024 o 2025: un chatbot interno conectado a SharePoint o Confluence, una base vectorial, la API de un gran modelo. La demo convenció, la herramienta está en producción, y decepciona: responde fuera de lugar, o con tanta lentitud que nadie se molesta en esperar. Gartner preveía que al menos el 30 % de los proyectos de IA generativa se abandonarían tras el POC antes de finales de 2025. Para los que han sobrevivido, la siguiente pregunta es la de la auditoría del RAG: ¿de dónde vienen esos fallos y qué hacer?
El reflejo es cambiar de modelo. Rara vez está ahí el problema. Lo comprobamos en nuestro propio RAG: en el benchmark público FinanceBench, sustituir Qwen3.8 27B, el modelo elegido para nuestro benchmark, por Gemini 3.8 Flash no hizo aparecer ninguna diferencia significativa, como tampoco aumentar el presupuesto de razonamiento del modelo. Un RAG se estanca primero por su arquitectura, no por su LLM.
Este artículo ofrece una plantilla de auditoría en siete capas, con pruebas que se pueden lanzar esta misma semana sobre la propia herramienta, un método para medir y criterios para decidir si conviene mejorarla o sustituirla. Las pruebas salen de lo que tuvimos que construir para que nuestro propio RAG aguantara más de 100.000 documentos en varios de nuestros clientes.
¿Qué síntomas indican que hay que auditar un RAG interno?
Un usuario nunca dice «el recall de la búsqueda es malo». Dice «no lo encuentra». Traducir cada queja a una capa técnica ya es la mitad de la auditoría. Scott Barnett y sus coautores identificaron siete puntos de fallo de un RAG a partir de tres despliegues. La tabla siguiente los recoge y añade los que encontramos en la empresa: sincronización, permisos, explotación.
| Lo que dicen los usuarios | Causa probable | Capa que auditar |
|---|---|---|
| «No encuentra un documento que sé que está» | Documento mal extraído o nunca indexado; pasaje correcto clasificado más allá de los 5 o 10 seleccionados; referencia exacta que la búsqueda vectorial no encuentra | Ingesta, búsqueda |
| «Se lo inventa» | La respuesta no está en los documentos y la herramienta responde igualmente en lugar de decirlo | Generación |
| «Responde a medias» | Una sola búsqueda para una pregunta que requiere varias; documento demasiado largo cortado sin avisar | Búsqueda, generación |
| «Cita una versión antigua» | Versiones contradictorias, fechas perdidas en la indexación | Ingesta, medición |
| «Las cifras están mal» | Tabla cortada entre dos fragmentos, hoja de cálculo resumida en lugar de leída | Ingesta |
| «Han desaparecido documentos» | Sincronización que tomó un incidente por un borrado | Conectores |
| «Es lento» | Etapas encadenadas una tras otra, el mismo tratamiento pesado para todas las preguntas, nada en pantalla durante la espera | Búsqueda, explotación |
| «Se cuelga» | Proveedor de modelo único, tratamientos pesados que se bloquean entre sí | Explotación |
| «Hemos dejado de usarlo» | Respuestas demasiado lentas frente a ChatGPT; ningún circuito entre las opiniones negativas y las correcciones | Explotación, medición |
Los mismos autores sacan de sus casos una lección que vale para cualquier RAG de empresa: su validación solo es posible en explotación, y su robustez se construye con el uso más que en el diseño. Un RAG entregado sin medición en producción se degrada sin que nadie lo vea.
Por qué un RAG propio se estanca: la búsqueda en una sola pasada
La mayoría de los RAG construidos siguiendo los tutoriales de 2023 y 2024 responden al mismo esquema. La pregunta se transforma en vector, la base devuelve los 5 o 10 pasajes más cercanos y el modelo redacta la respuesta a partir de esos pasajes. Este esquema funciona bien para «¿cuál es nuestra política de teletrabajo?». Falla en cuanto la pregunta obliga a comparar varios documentos, a hacer una lista, a contar o a leer un documento largo.
FinanceBench lo muestra con cifras. Este conjunto de preguntas de analistas financieros, publicado por Patronus AI a finales de 2023, obliga a buscar la respuesta en cientos de informes anuales y trimestrales. Según la forma en que busca el sistema, los resultados cambian por completo:
| Configuración | Respuestas correctas |
|---|---|
| GPT-4 Turbo, una búsqueda en una base vectorial compartida | 19 % |
| Mistral Medium 3.5, RAG en una sola pasada | 22,7 % |
| Mistral Medium 3.5, búsqueda agéntica con navegación por los documentos | 78,7 % |
| GPT-4 Turbo, con la página correcta proporcionada de antemano | 85 % |
| ATG, 368 informes en una sola base, sin indicación del documento correcto | 92 %, en 10,5 s de media |
Las cifras de Mistral y de ATG las publica cada editor sobre su propia solución. Nosotros publicamos el protocolo y el veredicto de cada pregunta, para que cualquiera pueda comprobarlo.
Cambiar de LLM no hace pasar de una fila a otra de la tabla. Con el mismo modelo, Mistral pasa del 22,7 % al 78,7 % cambiando únicamente la forma de buscar. Nuestra experiencia va en el mismo sentido: en FinanceBench, Qwen3.8 27B y Gemini 3.8 Flash obtienen puntuaciones sin diferencia significativa, y dar al modelo más presupuesto de razonamiento tampoco cambia nada. Para encontrar los pasajes correctos, el modelo pesa poco.
En cambio, marca una gran diferencia en otros puntos: para elaborar un plan de búsqueda complejo en varias etapas, para redactar una respuesta larga y estructurada, o para interpretar una pregunta mal formulada. En un chatbot interno, donde las preguntas rara vez llegan tan precisas como en un benchmark, estas diferencias se notan. Si tu RAG está construido en una sola pasada, la auditoría concluirá probablemente que hay que cambiar de arquitectura, no de modelo. Detallamos este paso del RAG lineal al RAG agéntico en nuestra guía.
Por qué un chatbot interno lento acaba abandonado
Tus empleados no comparan tu asistente con el antiguo buscador de la intranet. Lo comparan con ChatGPT, cuya respuesta empieza a escribirse casi al instante, y con los resúmenes de IA que Google muestra en lo alto de sus resultados. Al lado, un chatbot interno que deja girar un reloj de arena durante veinte segundos pierde la comparación, aunque su respuesta sea mejor. Nadie viene a quejarse: los usuarios vuelven a buscar en SharePoint o preguntan al compañero de al lado, y la curva de uso baja. Un asistente acertado pero lento acaba abandonado. Una auditoría que solo mide el acierto de las respuestas no lo ve.
Los umbrales se conocen desde hace tiempo en ergonomía. Jakob Nielsen los resume así: un segundo es el límite para que el hilo de pensamiento del usuario no se interrumpa, diez segundos el límite para mantener su atención. Más allá, hay que mostrar en qué punto está el proceso. Un RAG que encadena el cálculo del vector, la búsqueda, la reclasificación y la redacción sin mostrar nada supera con facilidad estos umbrales.
La búsqueda agéntica, que hace ganar 56 puntos en FinanceBench, agrava el problema: varias búsquedas llevan más tiempo que una sola. Eso no obliga a elegir entre acierto y velocidad. Tres palancas permiten tener las dos cosas:
- reservar el razonamiento largo a las preguntas que lo requieren, y responder al momento a las preguntas sencillas;
- mostrar el trabajo mientras se hace: búsquedas lanzadas, documentos consultados, y después el texto que se escribe a medida que se genera;
- lanzar las etapas en paralelo y dar a cada una un plazo máximo, para que un componente lento no retenga toda la respuesta.
En ATG, un modelo pequeño clasifica cada pregunta en 300 milisegundos para orientarla hacia un modelo rápido o hacia un modelo de razonamiento. El vector de la pregunta se pide a dos proveedores a la vez, y gana el más rápido. Las búsquedas salen en paralelo con un presupuesto de 8 segundos, la reclasificación tiene 2, y un proveedor de modelo que no ha empezado a responder a los 5 segundos se sustituye por otro. Mientras tanto, el usuario ve cada herramienta llamada y su duración, y después la respuesta escribiéndose palabra a palabra. En FinanceBench, donde una pregunta de analista exige a menudo varias búsquedas en cientos de informes, la respuesta completa llega en 10,5 segundos de media.
Cómo auditar un RAG: la plantilla en siete capas
Cada capa a continuación enumera lo que hay que comprobar y pruebas concretas. La mayoría se lanzan sin acceso al código: basta con una cuenta de usuario y unos cuantos documentos cuyo contenido se conozca. Para cada capa, indicamos lo que hace ATG, como punto de comparación.
1. Ingesta: lo que tu RAG ha leído de verdad
La calidad de una respuesta nunca superará la calidad de lo que se ha indexado. PDF escaneados, tablas de varias páginas, archivos Excel, esquemas: una gran parte de los errores nace aquí, mucho antes del modelo.
- Tomar una tabla de tarifas que ocupa tres páginas y hacer una pregunta sobre una fila de la última página. Si la respuesta confunde las columnas, el fragmento que contiene la página 3 ha perdido el encabezado de la tabla.
- Pedir una cifra precisa sacada de un archivo Excel. Comprobar que viene de la celda, no de un resumen redactado por un modelo en el momento de la indexación.
- Subir un PDF escaneado y después encontrarlo con una frase que contiene.
- Hacer una pregunta cuya respuesta solo está en un esquema o en una captura de pantalla.
En ATG, cuando una tabla se divide, cada continuación repite el encabezado y la leyenda: sin eso, la segunda mitad de una tabla no es más que una serie de cifras sin columnas. Las hojas de cálculo se vuelven a leer en la fuente en el momento de responder, hojas ocultas y fórmulas calculadas incluidas. Las descripciones de imágenes producidas por un modelo de visión se marcan como pendientes de verificar, porque a menudo se equivocan, y el agente puede contrastarlas con la imagen original.
2. Conectores y sincronización: lo que pasa al cabo de seis meses
Conectar una fuente lleva un día. Mantenerla sincronizada durante meses, sin perder ni duplicar nada, es la parte difícil, y la menos visible en una demo.
- Renombrar o mover un documento en el gestor documental. ¿Cuánto tiempo lo sigue citando el asistente con su nombre antiguo o en su carpeta antigua?
- Preguntar al equipo qué pasa si la API del gestor documental devuelve una lista vacía por un incidente. Si la respuesta es «borramos lo que ya no aparece en la lista», un incidente de un minuto puede vaciar tu base de conocimiento.
- La misma pregunta para la cuenta de servicio de un conector cuya contraseña caduca.
- Buscar en el índice una página «Inicie sesión» o un captcha indexado en lugar del contenido real de un sitio web.
En ATG, una caída de más del 30 % en el número de documentos de una fuente bloquea cualquier borrado hasta que un segundo escaneo completo la confirma. Un fallo de autenticación detiene la actualización en lugar de interpretarse como «contenido borrado». El robot que indexa los sitios web reconoce los captchas, las páginas de inicio de sesión y las páginas de «acceso denegado», también en francés.
3. Búsqueda: encontrar el pasaje correcto entre cientos de miles
- Buscar un documento por una referencia exacta: «NF-2024-117», un código de producto, un número de contrato. La búsqueda vectorial sola suele fallar en este caso, porque una referencia no tiene un sentido que los embeddings puedan captar. Es el papel de la búsqueda híbrida.
- Limitar la búsqueda a una carpeta pequeña y comparar los resultados con lo que se sabe que contiene.
- Preguntar «¿cuántos procedimientos hablan de X?» o «enumera todos los contratos firmados en 2025». Un RAG que trae 10 pasajes no puede contar: extrapola a partir de lo que ha visto.
- Hacer una pregunta que obligue a leer entero un pliego de condiciones de 400 páginas, por ejemplo «enumera todos los requisitos de seguridad».
En ATG, la búsqueda combina un índice léxico (BM25), un índice vectorial y un reranker que reclasifica los resultados. Entender la segunda prueba nos costó caro: con 341.000 fragmentos, una búsqueda filtrada ingenua tardaba 13,5 segundos, y forzar el índice vectorial aproximado (HNSW) no encontraba ninguno de los 8 resultados esperados cuando el filtro cubría el 2,5 % de la colección. El sistema elige ahora su método según el tamaño del filtro: 369 milisegundos en el percentil 90, con un 99,8 % de recall. Los índices vectoriales aproximados pierden resultados sin avisar. Las preguntas de inventario, por su parte, pasan por consultas SQL deterministas, con un control que comprueba que se han leído todas las páginas de resultados antes de declarar la lista completa.
4. Generación: lo que el modelo hace con los pasajes encontrados
- Hacer una pregunta cuya respuesta se sabe que no está en los documentos. El comportamiento correcto es «no encuentro esa información», no una respuesta verosímil.
- Enviar un documento más largo que la ventana de contexto del modelo. ¿Dice el asistente que no lo ha leído todo, o corta el final sin avisar?
- En un asistente conectado a una base de datos, hacer una pregunta en dos partes. ¿Indica que solo ha respondido a una de las dos?
- Comprobar que cada respuesta cita sus fuentes, con un enlace que lleva al pasaje exacto.
Incluso las herramientas profesionales se equivocan. Según investigadores de Stanford, Lexis+ AI y las herramientas de Thomson Reuters alucinan entre el 17 % y el 33 % de las veces en preguntas jurídicas. Si los editores especializados no se libran, un RAG interno sin medir no tiene ningún motivo para librarse. En ATG, la lectura de un documento entero tiene un tope, y por encima la herramienta se niega y orienta al agente hacia una exploración pasaje a pasaje en lugar de truncar en silencio. Una respuesta del tipo «voy a releer las páginas restantes» cuando no se ha hecho nada se detecta y se relanza, y después se señala como fallo si el relanzamiento no basta.
5. Permisos de acceso, seguridad y soberanía
Un RAG pone el conocimiento de toda la empresa detrás de una sola caja de texto. También es una superficie de ataque.
- Retirar a un usuario el acceso a un documento. ¿Puede seguir encontrándolo en una conversación antigua con el asistente?
- Preguntar dónde se almacenan los vectores, y qué proveedores reciben el contenido de los documentos en el momento de la indexación (descripción de imágenes, etiquetado, traducción), no solo en el momento de la respuesta.
- Leer los registros de la aplicación: ¿contienen extractos de documentos o las preguntas de los empleados?
- En un asistente de RR. HH. o jurídico: ¿quién, en el departamento de TI, puede leer las preguntas formuladas?
En ATG, los permisos se comprueban en cada lectura, también para una tabla ya extraída en una conversación. La política de proveedores (Europa o todo el mundo) se fija para toda la organización y se aplica también al tratamiento de los documentos, porque un modo «soberano» limitado a la respuesta final deja pasar lo esencial. Un agente puede marcarse como privado: sus conversaciones pasan a ser ilegibles para los administradores, y las estadísticas siguen disponibles. Para ir más allá sobre el alojamiento y el derecho aplicable, puede consultarse nuestra página sobre la IA soberana.
6. Explotación: velocidad, averías y carga
- Cronometrar una decena de preguntas reales, sencillas y complejas: tiempo hasta la primera señal de vida en pantalla, y después tiempo hasta la respuesta completa. Hacer las mismas a ChatGPT, que es la comparación que hacen tus usuarios.
- Escribir «hola» o hacer una pregunta trivial. Si la respuesta tarda lo mismo que un análisis, todas las preguntas pasan por la misma cadena pesada.
- ¿Qué ven tus usuarios cuando tu único proveedor de modelo está caído o te limita? Detallamos este riesgo en los errores que llegan después del POC.
- Subir 50 archivos de golpe y observar los tiempos de procesamiento.
- En el móvil, hacer una pregunta larga, bloquear la pantalla 30 segundos y volver. ¿Está la respuesta?
- Si un proceso de indexación falla a medio camino, ¿se sabe qué documentos están al día, a medio procesar o ausentes?
La prueba de los 50 archivos viene de un incidente real en nuestra casa: 56 archivos subidos a la vez habían desencadenado 56 recálculos completos, que estuvieron dos horas en cola. Desde entonces, estos procesos se agrupan. En ATG, cada tarea dispone de varios proveedores de modelos con conmutación automática, y una respuesta sigue generándose aunque se caiga la conexión del navegador.
7. Medición y mejora continua
- Tras el último cambio de modelo o de prompt, ¿cómo se supo que el asistente no respondía peor que antes?
- ¿Qué pasa con las opiniones negativas de los usuarios? ¿Se leen, se clasifican por causa y se siguen hasta su corrección?
- Si dos versiones de un procedimiento conviven en tus fuentes, ¿cuál cita el asistente?
- Cuando una respuesta de negocio es errónea, ¿quién corrige las instrucciones: el experto del área o un ticket al departamento de TI?
En ATG, cada opinión negativa se convierte en una tarea clasificada por causa: instrucciones del agente, documentación, búsqueda, fuente, error de software. Los responsables de negocio modifican y prueban ellos mismos las instrucciones de su agente antes de publicarlas. La plataforma detecta también las contradicciones entre documentos, una causa frecuente de respuestas falsas aunque el RAG funcione técnicamente. Sin este circuito, la calidad baja a medida que cambian los documentos.
Cómo evaluar un sistema RAG: conjunto de prueba y LLM juez
Corregir sin medir equivale a desplazar los errores. Antes de tocar el sistema, hace falta una forma de saber si responde mejor o peor que ayer.
Un conjunto de prueba sacado de las preguntas reales
El punto de partida son 100 a 300 preguntas extraídas de los registros de uso, cada una con su respuesta correcta y el documento que la contiene. Conviene mezclar los tipos: preguntas sencillas, referencias exactas, comparaciones entre varios documentos, recuentos, documentos antiguos, y preguntas fuera de alcance cuya respuesta correcta es «no lo sé». Barnett y sus coautores señalan que estos pares de pregunta y respuesta propios de la empresa suelen faltar: construirlos es el primer entregable de una auditoría, y un activo que se conserva pase lo que pase después. Este conjunto se vuelve a pasar tras cada cambio de modelo, de prompt o de tratamiento de los documentos.
El LLM juez
Puntuar a mano cientos de respuestas cada semana no es realista. Un LLM juez compara cada respuesta con la respuesta esperada y la puntúa. El método es serio: en el estudio de Zheng y sus coautores, GPT-4 coincidía con las preferencias humanas en más del 80 % de los casos, tanto como dos evaluadores humanos entre sí. El mismo artículo describe también sus sesgos: preferencia por la primera respuesta presentada, por las respuestas largas, por sus propias respuestas. Conviene revisar a mano una muestra. En FinanceBench, nuestros veredictos los puntúa un LLM juez y después los revisa una persona.
Lo que una puntuación no muestra
Un conjunto de prueba solo ve las preguntas que contiene. Un documento nunca indexado, una fuente vaciada por un incidente de sincronización, un permiso de acceso mal heredado o una avería de un proveedor pasan desapercibidos mientras ninguna pregunta los toque, y las preguntas de inventario suelen faltar. Un conjunto de prueba evalúa la cadena de respuesta; una auditoría evalúa el sistema entero.
Mejorar o sustituir tu RAG: cómo decidir
Una auditoría desemboca en una de estas situaciones:
| Lo que muestra la auditoría | Decisión probable |
|---|---|
| Causas localizadas: un formato mal extraído, un prompt, un conector | Corregir y después medir con el conjunto de prueba |
| Respuestas correctas pero demasiado lentas | Corregir si la lentitud viene de una etapa concreta; rehacer si toda la cadena es secuencial |
| Arquitectura en una sola pasada, solo búsqueda vectorial | Rehacer el motor, lo que equivale casi a reconstruirlo |
| Conectores propios que se rompen con cada cambio de API | Sustituir la capa de integración |
| Ni conjunto de prueba ni seguimiento de las opiniones, equipo original ya fuera | Sustituir, conservando los activos enumerados más abajo |
| RAG en el centro de un producto que vendes, equipo dedicado a largo plazo | Conservar e invertir |
El último caso existe. Cuando el RAG es tu producto, construirlo es tu oficio. En los demás casos, el prototipo cuesta poco. Lo que cuesta es todo lo que lo rodea, y eso no se acaba nunca. Los modelos cambian con cada versión, las API de las fuentes evolucionan, los documentos se contradicen. El informe del MIT sobre la IA generativa en la empresa da un orden de magnitud: las soluciones compradas a editores especializados tienen éxito alrededor del 67 % de las veces, los desarrollos internos tres veces menos. El método de este informe se discute, pero la diferencia coincide con lo que vemos sobre el terreno.
Lo que hay que conservar si se sustituye
El motor se sustituye. Tu conocimiento de los usos, no. Antes de cambiar de solución, hay que guardar:
- los registros de preguntas, que dicen lo que los usuarios buscan de verdad;
- el conjunto de prueba y sus respuestas esperadas;
- el vocabulario de negocio: siglas, nombres de productos, denominaciones antiguas;
- las instrucciones de negocio y la lista de las fuentes de referencia.
También se puede sustituir el motor y conservar el resto. Una solución como ATG puede servir de motor detrás de tu interfaz actual, por API o mediante un widget integrado en el portal que tus equipos ya usan.
Los contrapuntos que hay que tener presentes
Un editor crea una dependencia. Conviene comprobar la reversibilidad (exportación de los datos, de las conversaciones y de los ajustes), el lugar de alojamiento y el derecho aplicable a la empresa matriz. Los benchmarks que un editor publica sobre sí mismo, los nuestros incluidos, siguen siendo declaraciones: lo sensato es pedir una prueba sobre los propios documentos, con el propio conjunto de prueba.
Lo que ofrece ATG para un RAG que decepciona
Dos puntos de entrada, según en qué punto te encuentres.
Encargar la auditoría de tu RAG, aunque no lo hayamos construido nosotros. Nuestra auditoría combina entrevistas con quienes lo diseñaron y con los usuarios, una lectura del diseño, pruebas sobre tus documentos con preguntas cuya respuesta se conoce, y el análisis de los registros reales cuando existen. Hay que contar con entre unos días y unas semanas según el alcance. El resultado es un diagnóstico escrito y recomendaciones ordenadas por impacto, desde los ajustes rápidos hasta el cambio de enfoque. Si una herramienta de terceros responde mejor a tu necesidad que nuestra plataforma, te lo decimos.
Sustituir el motor por una solución que ya funciona. Los mecanismos descritos en esta plantilla existen en el RAG de ATG: conectores con tus herramientas, herencia de los permisos de acceso, búsqueda híbrida y agéntica, reparto entre modelo rápido y modelo de razonamiento, respuestas mostradas a medida que se escriben, citas, campañas de evaluación, seguimiento de las opiniones. Alojamiento en Europa o en tus servidores. En 4 clientes y clientes potenciales en los que comparamos las dos opciones, el coste total a 2 años era entre un 55 y un 80 % más bajo que con un desarrollo interno.
Preguntas frecuentes
¿Cómo se audita un RAG de empresa?
Traduciendo cada queja de los usuarios a una capa técnica y probando después siete capas: ingesta de los documentos, conectores y sincronización, búsqueda, generación, permisos y seguridad, explotación, medición. La mayoría de las pruebas se lanzan con una simple cuenta de usuario: una tabla de tres páginas, una referencia exacta, una pregunta de recuento, una pregunta fuera de alcance. Se completa con un conjunto de preguntas cuya respuesta se conoce, que se vuelve a pasar y se puntúa.
¿Cómo se mejora un RAG que da malas respuestas?
Primero se mide, con un conjunto de 100 a 300 preguntas reales, y después se localiza el fallo. Si no se encuentra el pasaje correcto, hay que actuar sobre la ingesta o la búsqueda (búsqueda híbrida, reranker, búsquedas múltiples). Si el pasaje se encuentra pero se usa mal, sobre la generación. Cambiar de modelo rara vez ayuda a encontrar los pasajes correctos: en nuestras pruebas con FinanceBench, pasar de Qwen3.8 27B a Gemini 3.8 Flash no cambió la puntuación de forma significativa, mientras que Mistral pasa del 22,7 % al 78,7 % de respuestas correctas cambiando solo la forma de buscar.
¿Cómo se evalúa la calidad de un RAG?
Con un conjunto de prueba sacado de las preguntas reales, cada una con su respuesta correcta y su documento fuente, puntuado por un LLM juez y revisado en parte por una persona. Esta puntuación no sustituye a una auditoría, que comprueba también la indexación, la sincronización de las fuentes y los permisos de acceso.
¿Por qué mi RAG no encuentra un documento que existe?
Hay tres causas que se repiten más que las demás. El documento se extrajo mal o nunca se indexó (PDF escaneado, fallo silencioso). El pasaje correcto se encuentra, pero queda clasificado más allá de los 5 o 10 resultados que se pasan al modelo. O la pregunta contiene una referencia exacta, un código o un nombre propio, que la búsqueda vectorial sola encuentra mal: hace falta entonces una búsqueda híbrida que combine palabras exactas y sentido.
¿Qué tiempo de respuesta debe buscar un chatbot interno?
Una primera señal de vida en pantalla en menos de un segundo, y el inicio de la respuesta en pocos segundos para una pregunta sencilla: es a lo que ChatGPT y los resúmenes de IA de Google han acostumbrado a los usuarios. Una pregunta que requiere varias búsquedas puede tardar más, siempre que la herramienta muestre lo que hace. En ergonomía, diez segundos sin respuesta son el límite a partir del cual se pierde la atención del usuario. Como comparación, ATG responde en 10,5 segundos de media a las preguntas de analista financiero de FinanceBench.
¿Hay que cambiar de LLM para mejorar un RAG?
Rara vez como primera medida. La mayoría de las decepciones vienen de lo que recibe el modelo, no de lo que hace con ello. En FinanceBench, GPT-4 Turbo acierta el 19 % de las preguntas con una búsqueda sencilla y el 85 % cuando se le da la página correcta. Un modelo más potente ayuda después, sobre todo para planificar búsquedas complejas, redactar respuestas largas y entender preguntas mal formuladas.
¿Cuánto tiempo lleva la auditoría de un RAG?
Entre unos días y unas semanas según el alcance: número de fuentes, acceso a la documentación técnica y a los registros de uso, existencia o no de un conjunto de prueba. La construcción de este conjunto de prueba suele llevar buena parte del tiempo, y sigue siendo útil sea cual sea la decisión que se tome después.
¿Hay que sustituir un chatbot interno desarrollado en casa?
No necesariamente. Si la auditoría muestra causas localizadas, se corrige. Si la arquitectura hace una sola búsqueda por pregunta, si los conectores se rompen con regularidad o si nadie mide la calidad, sustituir el motor suele costar menos que reconstruirlo. Se conservan entonces los registros, el conjunto de prueba y el vocabulario de negocio, y se puede mantener la interfaz actual.
Un RAG interno que decepciona se construyó, casi siempre, para la demo, y después se entregó sin las capas que lo hacen acertado y rápido en producción. La auditoría dice cuáles faltan. Queda una decisión económica: construirlas uno mismo, o partir de una base que ya las tiene. Para hablar de tu caso, puedes reservar una conversación.


