Reranking RAG con Jev: nuestro uso real en producción

Jev como reranker en un RAG: nuestro uso en producción del modelo de TypeSafe, notas asignadas, extractos conservados, tiempo de respuesta y coste.

Guía
Actualizado el
8 min de lectura

Para qué sirve el reranking en un RAG se ve con un caso cotidiano. Llega una pregunta al asistente. El agente lanza dos búsquedas semánticas y una búsqueda por palabras clave. Resultado: 19 extractos, sacados de 8 documentos distintos. Algunos responden exactamente a la pregunta, otros hablan del tema correcto sin responder, y unos pocos están ahí porque una palabra clave los ha atrapado.

Antes del 24 de septiembre de 2026, esos 19 extractos habrían ido tal cual al LLM encargado de redactar la respuesta. Desde entonces, Jev, el modelo de TypeSafe AI, los puntúa uno a uno antes. En esa búsqueda concreta, conservó 8.

Este artículo cuenta este reranking RAG tal y como funciona en nuestra plataforma. Dónde se conecta Jev y qué muestra su primer día en producción sobre las notas asignadas, los extractos conservados, el tiempo de respuesta y el coste.

1. El problema: demasiados extractos, poca señal

Un RAG de empresa serio combina varias vías de búsqueda: semántica, palabras clave y, a veces, metadatos. Eso es lo que le permite encontrar tanto «teletrabajo» como la referencia XOD1132 (lo detallamos en nuestro artículo sobre la búsqueda híbrida).

La contrapartida es mecánica. Cada vía trae sus candidatos, se fusionan, se eliminan los duplicados y al final hay más extractos de los que el LLM puede aprovechar. En el lote hay falsos positivos (la palabra clave está, el tema no), casi duplicados (el mismo párrafo en tres documentos) y extractos que rondan el tema sin responder a la pregunta.

El LLM de respuesta a menudo sabe hacer la criba solo. No siempre. Y cuando la hace, paga cada token leído, su atención se diluye y a veces cita la fuente equivocada. El estudio «Lost in the Middle» de Liu et al. mostró que el rendimiento cae cuando la información útil está en medio de un contexto largo. El reranking es la etapa que se intercala entre la búsqueda y la generación: se puntúa cada extracto, se reordena y solo se conserva lo mejor. El principio, las familias de rerankers y su coste se detallan en nuestra guía qué es un reranker y cómo funciona.

2. Jev, la IA de TypeSafe que responde con una probabilidad

Jev salió el 15 de septiembre de 2026. TypeSafe AI, una empresa de San Francisco, lo presenta como su primer modelo «System One»: un modelo que no genera texto. Se le envía un estado (en JSON) y preguntas cerradas, y devuelve decisiones tipadas.

Para nuestro uso, solo cuenta un tipo de pregunta: la pregunta «noul», una pregunta de sí o no a la que Jev responde con la probabilidad de que la respuesta sea sí, entre 0 y 1.

La pregunta que planteamos para cada extracto es la siguiente, palabra por palabra:

Is this chunk relevant to answer, at least partially, at least one of the search queries?

Dos detalles cuentan en esta frase. «Al menos en parte», porque un extracto que aporta la mitad de la respuesta debe quedarse. «Al menos una de las consultas», porque el agente lanza a menudo varias búsquedas para una misma pregunta, y un extracto útil para una de ellas no debe descartarse porque no tenga que ver con las demás.

En el código, hemos limitado nuestra integración de la IA Jev a este único modo: cualquier intento de usarla para chat, completado, OCR o embeddings genera un error. Jev hace una cosa en nuestra plataforma, y solo una.

3. Jev como reranker: dónde se conecta en nuestro RAG

Jev no interviene ni en la ingesta, ni en la indexación, ni en el cálculo de los embeddings. Actúa al final de la búsqueda documental, sobre la lista de extractos ya construida, justo antes de que se transmita al LLM.

Loading diagram…

El esquema sigue una búsqueda documental en el asistente: el agente consulta el índice por el sentido y por las palabras clave, los resultados se fusionan y se agrupan por documento, y luego Jev puntúa cada extracto en paralelo. El agente solo recibe los extractos conservados, por orden de pertinencia, y redacta su respuesta a partir de ellos.

Para cada extracto candidato, enviamos a Jev un estado con esta forma:

{
  "semantic_queries": ["plazo de preaviso en caso de dimisión de un directivo"],
  "keyword_queries": ["preaviso", "dimisión", "directivo"],
  "document_name": "Convenio colectivo 2025.pdf",
  "chunk_content": "Artículo 12. En caso de dimisión, el plazo de preaviso se fija en..."
}

Las llamadas salen todas en paralelo, una por extracto.

Es aquí donde la pareja RAG + Jev se distingue de un reranker clásico. Jev recibe a la vez las consultas semánticas, las palabras clave y el nombre del documento, y juzga el extracto teniendo en cuenta toda la búsqueda.

Una vez recibidas las notas, se descartan los extractos menos pertinentes, y los documentos se reordenan según la mejor puntuación de sus extractos. El LLM de respuesta no ve las puntuaciones: simplemente recibe una lista más corta y mejor ordenada.

Último efecto, menos visible: nuestras estadísticas de «qué documentos han servido para esta respuesta» solo cuentan ya los extractos conservados por Jev. Un documento descartado ya no infla artificialmente su tasa de uso.

4. Una nota que se sabe leer, incluso en la búsqueda por palabras clave

Ordenar los extractos ya lo hace la búsqueda. Nosotros queremos saber otra cosa: ¿sabemos responder? Entre lo que ha salido, ¿hay material para construir una respuesta fiable?

En la búsqueda semántica ya hay un indicio. La puntuación de similitud entre la pregunta y el extracto se lee bastante bien: un extracto muy cercano tiene muchas posibilidades de ser pertinente, uno lejano bastantes menos.

En la búsqueda por palabras clave, la cosa cambia. La puntuación, a menudo la del BM25 formalizado por Robertson y Zaragoza, depende del número de apariciones, de la rareza de los términos y de la longitud del extracto. Sirve para ordenar entre sí los resultados de una misma consulta (sus autores lo recuerdan: el modelo solo busca preservar el orden de los documentos, no estimar una probabilidad de pertinencia), pero su valor absoluto no significa gran cosa: una puntuación de 12 no es «el doble de pertinente» que una de 6, y no se puede comparar de una consulta a otra.

Jev resuelve este problema. Plantea la misma pregunta a cada extracto, sea cual sea la vía que lo ha encontrado, y devuelve una probabilidad entre 0 y 1 que se lee igual en todas partes. Un extracto encontrado por una palabra clave y otro encontrado por el sentido quedan por fin en la misma escala: la de su utilidad para responder.

5. Jev en producción: las notas y los extractos conservados

Esto es lo que muestra el primer día en producción, el 24 de septiembre de 2026. Una búsqueda que pasaba por Jev tenía entre 8 y 20 extractos, 10 de mediana, procedentes de 5 documentos de mediana.

Las notas asignadas

Nota de JevProporción de extractos
0,8 o más50 %
0,5 a 0,820 %
0,3 a 0,519 %
Menos de 0,311 %

Primera constatación: las notas son más bien altas. La nota mediana es de 0,80, el 70 % de los extractos supera 0,5 y solo el 2 % queda por debajo de 0,1. Estas notas altas indican sobre todo que la búsqueda documental previa hace bien su trabajo, ya que la mayor parte de lo que encuentra ya es pertinente. A Jev solo le queda descartar lo que sobra.

Eso no significa que responda «sí» a todo. En más de una búsqueda de cada dos, la diferencia entre la mejor y la peor nota supera 0,5, y es esa diferencia la que permite ordenar.

Los extractos conservados

De media, una búsqueda llega con 10,7 extractos y sale con 7,7. Jev descarta, por tanto, algo más de uno de cada cuatro extractos, y son los peor valorados: los que más habrían diluido la respuesta.

6. Tiempo de respuesta: lo que añade Jev

Todas las llamadas de una búsqueda salen a la vez. La búsqueda completa apenas tarda más que la llamada más lenta, y el tiempo añadido no depende del número de extractos: una búsqueda de 20 extractos no espera más que una de 8.

Depende, en cambio, de la longitud de los extractos: cuanto más largo es un extracto, más tarda Jev en leerlo. El reranking añade, por tanto, un retraso corto a la búsqueda documental. Creemos que todavía podemos reducirlo, y estamos en ello.

Y si Jev no responde, el asistente responde de todos modos: recibe la lista completa de extractos, como antes del 24 de septiembre.

7. Lo que cuesta

Jev se factura por los tokens de entrada: 0,042 $ por millón de tokens. La salida, una probabilidad, no se factura.

En el primer día, con extractos de 1.600 tokens de media, eso da 0,0007 $ por búsqueda, es decir, unos 0,70 $ cada 1.000 búsquedas.

A ese precio, la factura no pesa nada. Lo que vigilamos es el tiempo añadido.

Aun así, cada llamada queda registrada en nuestra monitorización (proveedor, tarea, tokens, coste, organización, conversación), como cualquier llamada a un LLM.

8. Por qué Jev y no otro reranker

Jev no es nuestro primer intento de reranking. Las soluciones que habíamos probado antes no ofrecían esta relación entre coste, retraso y calidad.

Más allá de las cifras, para nosotros la diferencia está en la pregunta. Un reranker clásico, de tipo cross-encoder, aplica la pertinencia que aprendió en el entrenamiento, como el reranker BERT de Nogueira y Cho en 2019. Con Jev, la escribimos nosotros: «al menos en parte», «al menos una de las consultas». Si mañana queremos descartar los extractos obsoletos, bastará con transmitir la fecha del documento y ajustar la frase, sin ningún modelo que reentrenar.

9. Por qué Jev solo está activo con la política Worldwide

Cada organización cliente elige su política de IA: solo UE o Worldwide.

TypeSafe AI es una empresa estadounidense, cuyo servicio está ubicado en la costa oeste de Estados Unidos. Enviar extractos de documentos a Jev supone transferir contenido de clientes a un proveedor de fuera de la Unión Europea. Por eso lo hemos reservado a la política Worldwide, como nuestros demás proveedores no europeos.

En la práctica, en nuestra tabla de enrutamiento, la tarea «pertinencia de los extractos» solo existe para la política Worldwide. Una organización con «solo UE» no tiene reranking con Jev: su búsqueda funciona exactamente igual que antes del 24 de septiembre. No hay ninguna casilla que marcar, así que no hay riesgo de olvidarla: para estas organizaciones, la tarea no existe.

Es el mismo razonamiento que aplicamos en todas partes, y que detallamos en nuestro artículo sobre lo que hay detrás de la palabra «soberano»: la ubicación de un servidor no basta, hay que mirar quién opera el modelo.

10. Cómo lo validamos antes de activarlo

No conectamos Jev en producción fiándonos de un anuncio. El uso real de Jev se simuló primero fuera de producción:

  1. un script relee, en nuestra base de datos, búsquedas documentales reales ya hechas, con exactamente la lista de extractos que había recibido el LLM;
  2. vuelve a plantear a Jev la misma pregunta, extracto por extracto;
  3. genera un informe (hoja de cálculo y PDF) que pone uno junto a otro cada extracto, su nota y la decisión de conservarlo o descartarlo;
  4. estos informes se releyeron a mano, extracto por extracto, para comprobar que lo descartado merecía serlo.

Estas simulaciones no alimentan la monitorización de producción: no distorsionan ni nuestros costes ni nuestras estadísticas. Nuestras reglas de selección salen de esa relectura.

Y la puesta en producción sigue siendo reversible: un interruptor desactiva el reranking para toda la plataforma, sin tocar el código.

El enfoque de Ask This Guy

Jev muestra cómo integramos un modelo nuevo: un único papel, un lugar preciso en la cadena, un plan B si no responde, un seguimiento llamada a llamada y el respeto de la política de IA de cada cliente.

Nuestros clientes no tienen nada que configurar. Si su organización tiene la política Worldwide, sus búsquedas documentales las filtra Jev desde el 24 de septiembre. Si tiene «solo UE», no cambia nada para ellos. La documentación detalla qué datos van a qué proveedores.

La misma lógica vale para el LLM que redacta la respuesta: combinamos modelos open weight y modelos comerciales según la tarea, y decimos sin rodeos cuánto cuesta un LLM on premise cuando un cliente quiere alojarlo todo en sus instalaciones. Cuando la integración exige conocer de cerca tu negocio, nuestros forward deployed engineers trabajan directamente con tus equipos.

Preguntas frecuentes

¿Qué es el reranking en un RAG?

El reranking es una segunda etapa de ordenación entre la búsqueda y la generación. La búsqueda (semántica, por palabras clave o ambas) devuelve una lista amplia de candidatos. El reranker puntúa cada uno en relación con la pregunta, los reordena y, en nuestro caso, descarta los menos pertinentes. El LLM de respuesta trabaja después con un contexto más corto y mejor ordenado. El detalle está en nuestra guía del reranking en RAG.

¿Es Jev un LLM?

No. Jev no genera texto. Recibe un estado estructurado y preguntas cerradas, y devuelve respuestas tipadas, por ejemplo una probabilidad para una pregunta de sí o no. Eso es lo que lo hace adecuado para el reranking: no se le pide que redacte, solo que decida si un extracto es pertinente.

¿Sustituye Jev a la búsqueda vectorial?

No. Jev no tiene acceso al índice y no busca nada. Puntúa extractos que la búsqueda semántica y la búsqueda por palabras clave ya han encontrado. Sin una buena búsqueda previa, no tiene nada bueno que conservar.

¿Cuántos extractos conserva Jev?

En nuestro primer día en producción, una búsqueda llegaba de media con 10,7 extractos y salía con 7,7. Jev descarta, por tanto, algo más de uno de cada cuatro extractos, empezando por los peor valorados.

¿Cuánto cuesta Jev para hacer reranking?

Jev se factura a 0,042 $ por millón de tokens de entrada. En nuestro primer día en producción, con extractos de 1.600 tokens de media y 10 extractos por búsqueda de mediana, eso representa unos 0,0007 $ por búsqueda, es decir, 0,70 $ cada 1.000 búsquedas.

¿Qué tiempo de respuesta añade Jev a un RAG?

Un retraso corto. Todas las llamadas de una búsqueda salen en paralelo, de modo que el tiempo añadido depende de la longitud de los extractos, no de su número. Si Jev no responde, el asistente responde de todos modos, con la lista completa de extractos.

¿Se puede usar Jev cuando los datos deben quedarse en Europa?

TypeSafe AI es una empresa estadounidense. Por eso, en Ask This Guy, Jev solo está activo para las organizaciones con la política de IA Worldwide. Las organizaciones con la política «solo UE» no envían ningún extracto a Jev, y su búsqueda documental funciona sin esta etapa de reranking.


Conclusión

Un día de producción no es un balance definitivo, pero ya dice lo esencial. Jev hace bien lo que se le pide: descarta más de uno de cada cuatro extractos y da a cada uno una nota legible, con un coste insignificante. Su límite está en el tiempo que añade a la respuesta. Ahí se centrará nuestro próximo trabajo, y publicaremos las cifras cuando esté en marcha.

Si quieres ver lo que da una búsqueda documental filtrada con tus propios documentos, puedes reservar una demo. El enfoque completo está en la página RAG para empresas llave en mano.

Partager :

Artículos relacionados

Evaluación y auditoría de un RAG: mejorarlo o sustituirloGuía

Evaluación y auditoría de un RAG: mejorarlo o sustituirlo

¿Tu RAG interno decepciona? Plantilla de auditoría en 7 capas, pruebas para tu herramienta, método de evaluación RAG y criterios para mejorarlo o sustituirlo.

M&A data room e IA: Datasite, Intralinks, iDeals y MCPGuía

M&A data room e IA: Datasite, Intralinks, iDeals y MCP

Usar la propia IA en la data room de M&A de Datasite, Intralinks o iDeals: IA integrada, MCP o acceso a los archivos. Lo que permite cada una y sus límites.

8 min
Cómo funciona la IA: 10 conceptos antes de firmarGuía

Cómo funciona la IA: 10 conceptos antes de firmar

¿Cómo funciona la IA? Red neuronal, token, entrenamiento, fine-tuning, alucinación, LLMOps: los conceptos que explican adónde va tu presupuesto de IA.

25 min

¿Te interesan nuestras soluciones?

Mira cómo Ask This Guy puede acelerar tus proyectos de IA

Reservar una demo