
Reranker Jev im RAG: unser Einsatz in der Produktion
Jev als Reranker im RAG: unser Produktionseinsatz des KI-Modells von TypeSafe, vergebene Scores, behaltene Chunks, Antwortzeit und Kosten pro 1.000 Suchen.
Wozu ein Reranker dient, zeigt ein alltäglicher Fall. Eine Frage kommt im Assistenten an. Der Agent startet zwei semantische Suchen und eine Keyword-Suche. Ergebnis: 19 Auszüge (Chunks) aus 8 verschiedenen Dokumenten. Manche beantworten die Frage genau, andere behandeln das richtige Thema, ohne zu antworten, einige sind nur da, weil ein Keyword sie erfasst hat.
Vor dem 24. September 2026 wären diese 19 Chunks unverändert an das LLM gegangen, das die Antwort formuliert. Seitdem bewertet Jev, das Modell von TypeSafe AI, sie vorher einzeln. Bei dieser Suche hat es 8 davon behalten.
Dieser Artikel beschreibt dieses RAG-Reranking, so wie es bei uns läuft. Wo Jev ansetzt, und was sein erster Tag in Produktion über vergebene Scores, behaltene Chunks, Antwortzeit und Kosten zeigt.
1. Das Problem: zu viele Chunks, zu wenig Signal
Ein ernsthaftes RAG im Unternehmen kombiniert mehrere Suchwege: semantisch, über Keywords, manchmal über Metadaten. So findet es sowohl „mobile Arbeit“ als auch die Referenz XOD1132 (das haben wir in unserem Artikel über Hybrid Search ausgeführt).
Die Kehrseite ist mechanisch. Jeder Weg liefert seine Kandidaten, man führt sie zusammen, entfernt Dubletten und hat am Ende mehr Chunks, als das LLM verwerten kann. Darunter sind Falschtreffer (das Keyword ist da, das Thema nicht), Beinahe-Dubletten (derselbe Absatz in drei Dokumenten) und Chunks, die um das Thema kreisen, ohne die Frage zu beantworten.
Das Antwort-LLM kann oft selbst sortieren. Nicht immer. Und wenn es das tut, bezahlt es jedes gelesene Token, seine Aufmerksamkeit verwässert, und manchmal zitiert es die falsche Quelle. Die Studie „Lost in the Middle“ von Liu et al. hat gezeigt, dass die Leistung sinkt, wenn die nützliche Information in der Mitte eines langen Kontexts steht. Reranking ist der Schritt zwischen Suche und Generierung: Man bewertet jeden Chunk, sortiert neu und behält nur das Beste. Prinzip, Familien von Rerankern und ihre Kosten erläutern wir in unserem Leitfaden Was ist ein Reranker und wie funktioniert er.
2. Jev, die KI von TypeSafe, die mit einer Wahrscheinlichkeit antwortet
Jev ist am 15. September 2026 erschienen. TypeSafe AI, ein Unternehmen aus San Francisco, stellt es als sein erstes „System One“-Modell vor: ein Modell, das keinen Text erzeugt. Man schickt ihm einen Zustand (JSON) und geschlossene Fragen, es gibt typisierte Entscheidungen zurück.
Für unseren Einsatz zählt nur ein Fragetyp: die „noul“-Frage, eine Ja/Nein-Frage, auf die Jev mit der Wahrscheinlichkeit antwortet, dass die Antwort Ja lautet, zwischen 0 und 1.
Die Frage, die wir für jeden Chunk stellen, lautet wörtlich:
Is this chunk relevant to answer, at least partially, at least one of the search queries?
Zwei Details in diesem Satz sind wichtig. „Zumindest teilweise“, weil ein Chunk, der die halbe Antwort liefert, bleiben soll. „Mindestens eine der Suchanfragen“, weil der Agent für eine Frage oft mehrere Suchen startet und ein Chunk, der für eine davon nützlich ist, nicht verworfen werden darf, nur weil er die anderen nicht abdeckt.
Im Code haben wir unsere Integration der Jev-KI auf genau diesen Modus festgelegt: Jeder Versuch, sie für Chat, Vervollständigung, OCR oder Embeddings zu nutzen, löst einen Fehler aus. Jev erledigt in unserer Plattform eine Aufgabe, und nur eine.
3. Jev als Reranker: wo er in unserem RAG ansetzt
Jev greift weder bei der Erfassung noch bei der Indexierung noch bei der Berechnung der Embeddings ein. Es arbeitet ganz am Ende der Dokumentensuche, auf der bereits erstellten Liste von Chunks, direkt bevor sie an das LLM übergeben wird.
Loading diagram…
Das Schema folgt einer Dokumentensuche im Assistenten: Der Agent fragt den Index nach Bedeutung und nach Keywords ab, die Ergebnisse werden zusammengeführt und nach Dokument gruppiert, dann bewertet Jev jeden Chunk parallel. Der Agent erhält nur die behaltenen Chunks, in der Reihenfolge ihrer Relevanz, und formuliert daraus seine Antwort.
Für jeden Kandidaten-Chunk schicken wir Jev einen Zustand dieser Form:
{
"semantic_queries": ["Kündigungsfrist bei Eigenkündigung einer Führungskraft"],
"keyword_queries": ["Kündigungsfrist", "Eigenkündigung", "Führungskraft"],
"document_name": "Tarifvertrag 2025.pdf",
"chunk_content": "§ 12. Bei Eigenkündigung beträgt die Kündigungsfrist ..."
}
Die Aufrufe gehen alle parallel raus, einer pro Chunk.
Hier unterscheidet sich das Gespann RAG + Jev von einem klassischen Reranker. Jev erhält zugleich die semantischen Anfragen, die Keywords und den Dokumentnamen und beurteilt den Chunk im Licht der gesamten Suche.
Sobald die Scores vorliegen, werden die am wenigsten relevanten Chunks verworfen, und die Dokumente werden nach dem besten Score ihrer Chunks neu sortiert. Das Antwort-LLM sieht die Scores nicht: Es erhält einfach eine kürzere und besser sortierte Liste.
Ein letzter, weniger sichtbarer Effekt: Unsere Statistiken „welche Dokumente haben zu dieser Antwort beigetragen“ zählen nur noch die Chunks, die Jev behalten hat. Ein verworfenes Dokument bläht seine Nutzungsquote nicht mehr künstlich auf.
4. Ein Score, den man lesen kann, auch bei der Keyword-Suche
Chunks ordnen kann die Suche bereits. Wir wollen etwas anderes wissen: Können wir antworten? Ist unter dem, was gefunden wurde, genug, um eine verlässliche Antwort zu bauen?
Bei der semantischen Suche gibt es schon einen Anhaltspunkt. Der Ähnlichkeitswert zwischen Frage und Chunk ist recht gut lesbar: Ein sehr naher Chunk ist mit guter Wahrscheinlichkeit relevant, ein entfernter deutlich weniger.
Bei der Keyword-Suche sieht es anders aus. Der Score, oft der des von Robertson und Zaragoza formalisierten BM25, hängt von der Zahl der Vorkommen, der Seltenheit der Begriffe und der Länge des Chunks ab. Er dient dazu, die Ergebnisse einer Anfrage untereinander zu ordnen (seine Autoren betonen: Das Modell will nur die Reihenfolge der Dokumente bewahren, keine Relevanzwahrscheinlichkeit schätzen), aber sein absoluter Wert sagt wenig: Ein Score von 12 ist nicht „doppelt so relevant“ wie ein Score von 6, und er lässt sich nicht von einer Anfrage zur nächsten vergleichen.
Jev löst dieses Problem. Es stellt jedem Chunk dieselbe Frage, egal über welchen Weg er gefunden wurde, und liefert eine Wahrscheinlichkeit zwischen 0 und 1, die überall gleich zu lesen ist. Ein Chunk aus der Keyword-Suche und einer aus der semantischen Suche stehen endlich auf derselben Skala: der ihres Nutzens für die Antwort.
5. Jev in Produktion: vergebene Scores und behaltene Chunks
Das zeigt der erste Produktionstag, der 24. September 2026. Eine Suche, die über Jev lief, umfasste zwischen 8 und 20 Chunks, im Median 10, aus im Median 5 Dokumenten.
Die vergebenen Scores
| Jev-Score | Anteil der Chunks |
|---|---|
| 0,8 und mehr | 50 % |
| 0,5 bis 0,8 | 20 % |
| 0,3 bis 0,5 | 19 % |
| Unter 0,3 | 11 % |
Erste Feststellung: Die Scores sind eher hoch. Der Median-Score liegt bei 0,80, 70 % der Chunks liegen über 0,5, und nur 2 % fallen unter 0,1. Diese hohen Scores zeigen vor allem, dass die vorgelagerte Dokumentensuche gute Arbeit leistet, denn das meiste, was sie liefert, ist bereits relevant. Jev muss nur noch aussortieren, was übersteht.
Es antwortet deshalb aber nicht auf alles mit „Ja“. Bei mehr als jeder zweiten Suche liegt der Abstand zwischen bestem und schlechtestem Score über 0,5, und genau dieser Abstand ermöglicht die Sortierung.
Die behaltenen Chunks
Im Durchschnitt kommt eine Suche mit 10,7 Chunks an und geht mit 7,7 weiter. Jev verwirft also etwas mehr als jeden vierten Chunk, und zwar die am schlechtesten bewerteten: die, die die Antwort am stärksten verwässert hätten.
6. Antwortzeit: was Jev hinzufügt
Alle Aufrufe einer Suche gehen gleichzeitig raus. Die gesamte Suche dauert daher kaum länger als der langsamste Aufruf, und die zusätzliche Zeit hängt nicht von der Zahl der Chunks ab: Eine Suche mit 20 Chunks wartet nicht länger als eine mit 8.
Sie hängt dagegen von der Länge der Chunks ab: Je länger ein Chunk, desto länger braucht Jev zum Lesen. Das Reranking fügt der Dokumentensuche also eine kurze Verzögerung hinzu. Wir glauben, sie noch verringern zu können, und arbeiten daran.
Und wenn Jev nicht antwortet, antwortet der Assistent trotzdem: Er erhält die vollständige Liste der Chunks, wie vor dem 24. September.
7. Was es kostet
Jev wird nach Eingabe-Token abgerechnet: 0,042 $ pro Million Token. Die Ausgabe, eine Wahrscheinlichkeit, wird nicht berechnet.
Am ersten Tag ergab das bei Chunks von durchschnittlich 1.600 Token 0,0007 $ pro Suche, also rund 0,70 $ pro 1.000 Suchen.
Bei diesem Preis fällt die Rechnung nicht ins Gewicht. Was wir beobachten, ist die zusätzliche Zeit.
Jeder Aufruf wird dennoch in unserem Monitoring erfasst (Anbieter, Aufgabe, Token, Kosten, Organisation, Unterhaltung), wie jeder andere LLM-Aufruf.
8. Warum Jev und nicht ein anderer Reranker
Jev ist nicht unser erster Versuch mit Reranking. Die Lösungen, die wir vorher getestet hatten, boten nicht dieses Verhältnis von Kosten, Verzögerung und Qualität.
Über die Zahlen hinaus liegt der Unterschied für uns in der Frage. Ein klassischer Reranker vom Typ Cross-Encoder wendet die Relevanz an, die er im Training gelernt hat, wie der BERT-Reranker von Nogueira und Cho von 2019. Bei Jev schreiben wir sie selbst: „zumindest teilweise“, „mindestens eine der Suchanfragen“. Wenn wir künftig veraltete Chunks aussortieren wollen, genügt es, das Datum des Dokuments mitzuschicken und den Satz anzupassen, ohne ein Modell neu zu trainieren.
9. Warum Jev nur bei der Richtlinie Worldwide aktiv ist
Jede Kundenorganisation wählt ihre KI-Richtlinie: nur EU oder Worldwide.
TypeSafe AI ist ein amerikanisches Unternehmen, dessen Dienst an der Westküste der USA angesiedelt ist. Dokumentauszüge an Jev zu schicken heißt, Kundeninhalte an einen Anbieter außerhalb der Europäischen Union zu übermitteln. Deshalb haben wir es der Richtlinie Worldwide vorbehalten, wie unsere anderen nichteuropäischen Anbieter.
Konkret existiert die Aufgabe „Relevanz der Chunks“ in unserer Routing-Tabelle nur für die Richtlinie Worldwide. Eine Organisation mit „nur EU“ hat kein Jev-Reranking: Ihre Suche funktioniert genau wie vor dem 24. September. Kein Häkchen, also kein Risiko, es zu vergessen: Für diese Organisationen gibt es die Aufgabe schlicht nicht.
Es ist dieselbe Überlegung, die wir überall anwenden und in unserem Artikel darüber ausgeführt haben, was hinter dem Wort „souverän“ steckt: Der Standort eines Servers reicht nicht, man muss schauen, wer das Modell betreibt.
10. Wie wir es vor der Aktivierung validiert haben
Wir haben Jev nicht auf Grundlage einer Ankündigung in Produktion genommen. Der reale Einsatz von Jev wurde zuerst außerhalb der Produktion simuliert:
- Ein Skript liest aus unserer Datenbank echte vergangene Dokumentensuchen aus, mit genau der Liste von Chunks, die das LLM erhalten hatte;
- es stellt Jev dieselbe Frage erneut, Chunk für Chunk;
- es erzeugt einen Bericht (Tabelle und PDF), der jeden Chunk, seinen Score und die Entscheidung behalten / verwerfen nebeneinanderstellt;
- diese Berichte wurden von Hand geprüft, Chunk für Chunk, um sicherzustellen, dass das Verworfene es verdient hatte.
Diese Simulationen fließen nicht in das Produktions-Monitoring ein: Sie verfälschen weder unsere Kosten noch unsere Statistiken. Unsere Auswahlregeln stammen aus dieser Prüfung.
Und die Inbetriebnahme bleibt umkehrbar: Ein Schalter deaktiviert das Reranking für die gesamte Plattform, ohne den Code anzufassen.
Der Ansatz von Ask This Guy
Jev zeigt, wie wir ein neues Modell integrieren: eine einzige Rolle, ein genauer Platz in der Kette, ein Plan B, falls es nicht antwortet, ein Monitoring Aufruf für Aufruf und die Einhaltung der KI-Richtlinie jedes Kunden.
Unsere Kunden müssen nichts konfigurieren. Ist ihre Organisation auf der Richtlinie Worldwide, werden ihre Dokumentensuchen seit dem 24. September von Jev gefiltert. Ist sie auf „nur EU“, ändert sich für sie nichts. Die Dokumentation beschreibt, welche Daten an welche Anbieter fließen.
Dieselbe Logik gilt für das LLM, das die Antwort formuliert: Wir kombinieren je nach Aufgabe Open-Weight-Modelle und kommerzielle Modelle und beziffern offen, was ein LLM on Premise kostet, wenn ein Kunde alles bei sich hosten will. Wenn die Integration ein genaues Verständnis Ihres Geschäfts erfordert, arbeiten unsere Forward Deployed Engineers direkt mit Ihren Teams.
Häufige Fragen zum RAG-Reranking mit Jev
Was ist Reranking im RAG?
Reranking ist ein zweiter Sortierschritt zwischen Suche und Generierung. Die Suche (semantisch, über Keywords oder beides) liefert eine breite Liste von Kandidaten. Der Reranker bewertet jeden davon in Bezug auf die Frage, sortiert sie neu und verwirft in unserem Fall die am wenigsten relevanten. Das Antwort-LLM arbeitet dann mit einem kürzeren und besser sortierten Kontext. Details stehen in unserem Leitfaden zum RAG-Reranking.
Ist Jev ein LLM?
Nein. Jev erzeugt keinen Text. Es erhält einen strukturierten Zustand und geschlossene Fragen und gibt typisierte Antworten zurück, zum Beispiel eine Wahrscheinlichkeit für eine Ja/Nein-Frage. Das macht es für Reranking geeignet: Man verlangt von ihm nicht, etwas zu formulieren, nur zu entscheiden, ob ein Chunk relevant ist.
Ersetzt Jev die Vektorsuche?
Nein. Jev hat keinen Zugriff auf den Index und sucht nichts. Es bewertet Chunks, die die semantische Suche und die Keyword-Suche bereits gefunden haben. Ohne gute vorgelagerte Suche hat es nichts Gutes zu behalten.
Wie viele Chunks behält Jev?
An unserem ersten Produktionstag kam eine Suche im Durchschnitt mit 10,7 Chunks an und ging mit 7,7 weiter. Jev verwirft also etwas mehr als jeden vierten Chunk, beginnend mit den am schlechtesten bewerteten.
Was kostet Jev als Reranker?
Jev wird mit 0,042 $ pro Million Eingabe-Token abgerechnet. An unserem ersten Produktionstag entsprach das bei Chunks von durchschnittlich 1.600 Token und im Median 10 Chunks pro Suche rund 0,0007 $ pro Suche, also 0,70 $ pro 1.000 Suchen.
Wie viel Antwortzeit fügt Jev einem RAG hinzu?
Eine kurze Verzögerung. Alle Aufrufe einer Suche gehen parallel raus, sodass die zusätzliche Zeit von der Länge der Chunks abhängt, nicht von ihrer Zahl. Antwortet Jev nicht, antwortet der Assistent trotzdem, mit der vollständigen Liste der Chunks.
Lässt sich Jev nutzen, wenn die Daten in Europa bleiben müssen?
TypeSafe AI ist ein amerikanisches Unternehmen. Bei Ask This Guy ist Jev daher nur für Organisationen mit der KI-Richtlinie Worldwide aktiv. Organisationen mit der Richtlinie „nur EU“ schicken keinen einzigen Chunk an Jev, und ihre Dokumentensuche funktioniert ohne diesen Reranking-Schritt.
Fazit
Ein Produktionstag ist keine endgültige Bilanz, aber er zeigt bereits das Wesentliche. Jev tut gut, was man von ihm verlangt: Es verwirft mehr als jeden vierten Chunk und gibt jedem Chunk einen lesbaren Score, zu vernachlässigbaren Kosten. Seine Grenze liegt in der Zeit, die es der Antwort hinzufügt. Darauf richtet sich unsere nächste Arbeit, und wir veröffentlichen die Zahlen, sobald sie umgesetzt ist.
Wenn Sie sehen möchten, was eine gefilterte Dokumentensuche auf Ihren eigenen Dokumenten ergibt, buchen Sie eine Demo. Der vollständige Ansatz steht auf der Seite RAG für Unternehmen, schlüsselfertig.


