Reranker im RAG: Reranking und Cross-Encoder erklärt
Foto von Pierre Bamin auf Unsplash

Reranker im RAG: Reranking und Cross-Encoder erklärt

Ein Reranker ordnet die von einem RAG gefundenen Passagen neu, bevor sie ans LLM gehen. Cross-Encoder, Bi-Encoder, RRF, Kosten, Latenz: wann er sich lohnt.

Konzepte
8 Min. Lesezeit

Ein Reranker ist das spezialisierte Modell, das in einem RAG die von der Suche gefundenen Passagen neu ordnet, bevor sie an das LLM gehen; dieser Schritt heißt Reranking. Der Reranker liest jede Passage zusammen mit der Frage, vergibt eine Relevanznote, und nur die am besten bewerteten Passagen bleiben übrig. In den Tests von Anthropic senkte ein zusätzlicher Reranker die Fehlerquote der Suche von 2,9 % auf 1,9 %.

Warum ein zweiter Schritt? Weil die Suche eines RAG schnell, aber ungenau ist: Sie vergleicht vorab berechnete Vektoren, ohne Frage und Passage jemals gemeinsam zu lesen. Der Reranker liest beide zusammen. Er ist genauer, aber viel langsamer: Auf dem Benchmark BEIR verbessert das Reranking der ersten 100 Ergebnisse mit einem Cross-Encoder die Relevanz im Schnitt um 11 %, benötigt aber 450 ms pro Anfrage auf einer GPU, gegenüber 20 ms für die reine Stichwortsuche.

Das Reranking hat also eine klare Grenze: Es sortiert, was die Suche gefunden hat, und sonst nichts. Richtig platziert, verbessert es die Antworten zu geringen Kosten. Falsch platziert, fügt es Latenz hinzu, ohne etwas auszugleichen. Bleibt die Wahl zwischen Cross-Encoder, API, LLM als Richter oder schlichter RRF-Fusion, und die Messung des Gewinns auf Ihren eigenen Dokumenten.

Was ist Reranking im RAG, und was macht ein Reranker?

Ein RAG beantwortet eine Frage in zwei Schritten: Es sucht in Ihren Dokumenten die nützlichen Passagen und übergibt sie dann dem LLM, das die Antwort formuliert. Das Reranking schiebt sich dazwischen. Die Suche liefert eine breite Liste von Kandidaten, ein Reranker bewertet jeden davon, und die Liste wird neu geordnet und dann gekürzt.

Loading diagram…

Der Reranker fragt nicht den Index ab: Er erhält die von der Suche erzeugte Liste, bewertet jede Passage im Hinblick auf die Frage und gibt nur die besten an das LLM weiter, in der richtigen Reihenfolge.

Die Mengen unterscheiden sich von System zu System. Die Dokumentation von Sentence Transformers nennt als Beispiel rund hundert Kandidaten für das Reranking. Anthropic ordnet in seiner Methode Contextual Retrieval die ersten 150 Passagen neu und behält 20.

Die endgültige Reihenfolge zählt so viel wie die Auswahl. Eine 2023 veröffentlichte Studie hat gezeigt, dass ein LLM Informationen am Anfang oder am Ende seines Kontexts besser nutzt als in der Mitte. Eine gute Passage, die auf Platz zwölf untergeht, wird womöglich schlechter genutzt als ganz oben in der Liste. Der Reranker entscheidet, was das LLM zuerst liest.

Bi-Encoder oder Cross-Encoder: Was ist der Unterschied?

Das Reranking beruht auf zwei Arten, eine Frage mit einer Passage zu vergleichen.

Ein Bi-Encoder kodiert die Frage und jede Passage getrennt als Vektoren (die Embeddings). Die Vektoren der Dokumente werden ein für alle Mal bei der Indexierung berechnet. Zur Frage muss nur ein Vektor berechnet und nach seinen nächsten Nachbarn gesucht werden, was mit einer GPU rund fünfzehn Millisekunden für eine Million Passagen dauert. Das ist die klassische semantische Suche, über deren Wahl von Modellen und Anbietern wir berichtet haben.

Ein Cross-Encoder liest Frage und Passage gemeinsam im selben Modell und liefert direkt einen Score. Jedes Wort der Frage kann jedes Wort der Passage „ansehen“: Das macht ihn genauer. Aber nichts lässt sich vorab berechnen: Jedes Paar aus Frage und Passage erfordert einen vollständigen Durchlauf durch das Modell.

Der Unterschied bei den Kosten ist schwindelerregend. Laut den Autoren von Sentence-BERT dauert es mit einem BERT-Cross-Encoder etwa 65 Stunden, das ähnlichste Paar unter 10.000 Sätzen zu finden, gegenüber 5 Sekunden mit vorab berechneten Vektoren. Daher die zweistufige Architektur: der Bi-Encoder zum Suchen, der Cross-Encoder zum Sortieren.

Der Genauigkeitsgewinn wird seit 2019 gemessen. Schon im Januar jenes Jahres übertraf ein BERT-basierter Reranker den bisherigen Stand der Technik um 27 % (relativ) auf dem Benchmark MS MARCO von Microsoft.

Dazwischen gibt es einen Mittelweg, die Late Interaction, bekannt geworden durch ColBERT: ein Vektor pro Wort statt ein Vektor pro Passage, fein verglichen zum Zeitpunkt der Anfrage. Die Autoren berichten von einer Qualität nahe an Cross-Encodern bei zwei Größenordnungen höherer Geschwindigkeit.

Bi-EncoderLate Interaction (ColBERT)Cross-Encoder
Lesen von Frage und PassageGetrenntGetrennt, Vergleich Wort für WortGemeinsam
VorabberechnungJa, ein Vektor pro PassageJa, ein Vektor pro WortNein
GeschwindigkeitMillisekunden für Millionen von PassagenMittelEinige Dutzend Passagen pro Anfrage
GenauigkeitGutSehr gutDie beste
Rolle im RAGSucheSuche oder RerankingReranking

Die vier Familien von Rerankern

Open-Weight-Cross-Encoder

Das sind herunterladbare Modelle, die man selbst betreibt. Das Modell bge-reranker-v2-m3 der BAAI (Beijing Academy of Artificial Intelligence) hat 600 Millionen Parameter, ist mehrsprachig, steht unter der Lizenz Apache 2.0 und kam zum 6. November 2026 auf mehr als 14 Millionen Downloads im letzten Monat. Alibaba veröffentlicht die Familie Qwen3-Reranker mit 0,6, 4 und 8 Milliarden Parametern, unter Apache 2.0, für mehr als 100 Sprachen. Mixedbread bietet mxbai-rerank-large-v2 an, ebenfalls unter Apache 2.0.

Vorsicht bei den Lizenzen: jina-reranker-v3 steht unter CC BY-NC 4.0, was die kommerzielle Nutzung ohne Zustimmung des Herausgebers ausschließt. Herunterladbare Gewichte garantieren keine freie Nutzung.

Der Vorteil dieser Familie ist die Kontrolle. Ein Reranker mit 600 Millionen Parametern läuft auf Ihren Servern, auf einer bescheidenen GPU, und die Passagen Ihrer Dokumente verlassen Ihre Infrastruktur nicht. Das ist der natürliche Weg für ein Unternehmen, das eine Datenverarbeitung in Europa vorschreibt.

Reranker per API

Cohere, Voyage AI und Jina AI verkaufen Reranking pro Aufruf. Cohere hat am 21. Oktober 2026 Rerank 5 veröffentlicht, abgerechnet mit 0,05 Dollar pro Million Token in der Version Pro und 0,02 Dollar in der Version Fast, evaluiert auf 20 Sprachen, darunter Französisch. Voyage AI verlangt dieselben Preise für rerank-3 und rerank-3-lite.

Zwei dieser Anbieter gehören inzwischen zu Herstellern von Datenbanken und Suchmaschinen: MongoDB hat Voyage AI im Februar 2025 übernommen, Elastic hat die Übernahme von Jina AI im Oktober 2025 abgeschlossen.

Die API erspart den Betrieb eines Modells, aber jede Kandidaten-Passage geht an den Anbieter. Für einen CIO ist ein Reranker per API ein Auftragsverarbeiter wie jeder andere, mit Vertrag, Standort und Aufbewahrungsrichtlinie. Cohere bietet auf Anfrage beim Vertrieb ein privates Deployment in Ihrer Cloud oder vor Ort an.

Das LLM als Reranker

Man kann auch ein LLM bitten, die Relevanz jeder Passage zu beurteilen oder eine Liste direkt zu ordnen. Forschende haben 2023 gezeigt, dass ChatGPT und GPT-4 mit guter Anleitung konkurrenzfähige, teils bessere Ergebnisse als überwachte Verfahren erzielen. Derselbe Artikel zeigt, dass ein kleines Modell mit 440 Millionen Parametern, das darauf trainiert wurde, diese Rangfolgen nachzuahmen, ein überwachtes Modell mit 3 Milliarden Parametern schlägt.

Der Vorteil liegt in der gestellten Frage: Mit einem LLM wird das Relevanzkriterium ausformuliert, statt beim Training festgeschrieben zu sein. Genau das tun wir mit Jev, einem Modell, das eine geschlossene Frage mit einer Wahrscheinlichkeit beantwortet. An seinem ersten Tag in der Produktion hat es die Passagen von 10,7 auf 7,7 pro Suche reduziert, für 0,70 Dollar pro 1.000 Suchen.

Der Nachteil: Ein allgemeines LLM kostet mehr und antwortet langsamer als ein spezialisierter Cross-Encoder. Ein Modell, das zum Entscheiden gebaut ist, ohne Text zu generieren, verringert den Abstand.

Hybride Suche und RRF-Fusion

Die letzte Familie ist die einfachste: überhaupt kein Modell. Eine hybride Suche startet parallel eine Stichwortsuche und eine semantische Suche. Anschließend müssen zwei Listen zusammengeführt werden, deren Scores nicht vergleichbar sind: Der Score der lexikalischen Suche ist nach oben offen, der der semantischen Suche begrenzt.

Die Reciprocal Rank Fusion (RRF) umgeht das Problem, indem sie die Scores ignoriert. Jedes Dokument erhält für jede Liste, in der es auftaucht, 1 / (60 + seinen Rang), und die Werte werden addiert. 2009 von Forschenden der University of Waterloo und von Google vorgeschlagen, schlug sie das beste der fusionierten Systeme um 4 bis 5 %. Elasticsearch wendet sie standardmäßig mit derselben Konstante 60 an.

RRF ist im strengen Sinn kein Reranker: Sie liest den Text nicht. Aber sie ist ein deterministischer Algorithmus, kostenlos und sofort. Bevor man ein Modell hinzufügt, lohnt der Blick darauf, was RRF allein leistet.

Lohnt sich ein Reranker?

Was die Latenz kostet

Die zusätzliche Zeit ist die eigentliche Einschränkung. Auf BEIR dauerte 2021 das Reranking von 100 Passagen mit einem kleinen Cross-Encoder 450 ms auf einer GPU und 6,1 Sekunden auf einer CPU, während die reine Stichwortsuche 20 ms brauchte. Hardware und Modelle haben sich verbessert: Cohere gibt an, dass Rerank 5 Fast auf einer A100-Karte etwa 187 Dokumente mit je 1.000 Token pro Sekunde verarbeitet. Anthropic fasst zusammen: Reranking fügt „unvermeidlich etwas Latenz hinzu“, und je mehr Passagen neu geordnet werden, desto mehr.

Zwei Hebel begrenzen die Rechnung: weniger Kandidaten und parallele Aufrufe. Bei uns gehen alle Reranking-Aufrufe einer Suche gleichzeitig hinaus, sodass die Verzögerung von der Länge der Passagen abhängt, nicht von ihrer Anzahl.

Was die Rechnung kostet

Per API wird Reranking pro Token bezahlt. Nehmen wir 50 Passagen mit je 400 Token: etwa 20.000 Token pro Suche, also 0,001 Dollar zum Tarif von Cohere Rerank 5 Pro, oder ein Dollar pro 1.000 Suchen. In dieser Größenordnung fällt die Rechnung für das Reranking kaum ins Gewicht neben der des LLM, das die Antwort schreibt. Und sie kann Letztere sogar senken: Weniger übergebene Passagen bedeuten weniger vom LLM gelesene Token, was auch Anthropic festhält. Wir machen dieselbe Beobachtung mit Jev: Die Rechnung fällt nicht ins Gewicht, die zusätzliche Zeit muss man im Auge behalten.

Wann man darauf verzichten kann

In mehreren Fällen bringt Reranking nichts oder fast nichts:

  • Die Suche liefert wenige Kandidaten: Wenn Sie ohnehin die ersten 5 Passagen übergeben, ändert ein Neuordnen wenig;
  • die Frage betrifft eine exakte Referenz (eine Bestellnummer, einen Projektcode): Die Stichwortsuche findet die richtige Zeile, es gibt nichts abzuwägen;
  • die richtige Passage ist nicht in der Liste: Ein Reranker findet nichts wieder, er ordnet neu. Verfehlt die Suche die Passage, holt sie kein Reranker zurück;
  • die Latenz ist kritisch, etwa bei einer Autovervollständigung.

Das ist die Regel, die wir überall anwenden: KI nur dort, wo die Aufgabe nicht deterministisch ist. Wenn ein Algorithmus genügt, ist er zuverlässiger, günstiger und ressourcenschonender. Eine gut eingestellte Stichwortsuche bleibt ein ernstzunehmender Gegner: Auf BEIR ist BM25, der klassische Algorithmus der lexikalischen Suche, „eine robuste Baseline“, die mehrere semantische Modelle außerhalb ihres Trainingsbereichs nicht schlagen.

Wie misst man den Gewinn eines Rerankers?

Ein Reranker wird an Ihren Dokumenten und Ihren Fragen beurteilt, nicht an einem öffentlichen Ranking. Die Methode umfasst fünf Schritte.

  1. Ein Testset zusammenstellen: 50 bis 200 echte Fragen aus den Logs des Assistenten, jeweils mit den Passagen, die sie beantworten.
  2. Den Recall der Suche allein messen: Wie viele der ersten 50 oder 100 Kandidaten enthalten die richtige Passage? Dieser Recall ist die Obergrenze des Rerankers.
  3. Drei Konfigurationen vergleichen: ohne Reranker, mit RRF allein, mit Reranker. Die Referenzmetrik ist nDCG@10, die BEIR gewählt hat, weil sie Rang und Relevanzabstufungen berücksichtigt; die MRR, die den Rang der ersten guten Passage betrachtet, ist leichter zu lesen.
  4. Latenz und Kosten pro Anfrage erfassen, mit Blick auf die langsamen Fälle (95. Perzentil) und nicht nur auf den Durchschnitt.
  5. Die aussortierten Passagen von Hand nachlesen. Ein Reranker, der zu stark kürzt, sortiert nützliche Passagen aus; durch das Nachlesen der Berichte, Auszug für Auszug, haben wir die Auswahlregeln von Jev festgelegt.

Eine Vorsichtsmaßnahme: Ein Schwellenwert für die Note (alles über 0,5 behalten) statt einer festen Anzahl (die ersten 10 behalten) passt den Schnitt an jede Frage an. Dafür müssen die Noten vergleichbar sein, also ein zwischen 0 und 1 normalisierter Score, wie ihn bge-reranker-v2-m3 mit einer Sigmoidfunktion ermöglicht.

Was eine IT-Abteilung daraus mitnehmen kann

  • Mit der Suche beginnen. Zuerst hybride Suche und RRF: Ohne Recall kein sinnvolles Reranking.
  • Messen, bevor ein Modell hinzukommt. Ein Satz von 50 echten Fragen genügt, um zu wissen, ob der Reranker auf Ihren Dokumenten etwas gewinnt.
  • Die Familie nach den Daten wählen. Sensible Daten oder eine europäische Datenrichtlinie: ein selbst gehosteter Open-Weight-Cross-Encoder, nach Prüfung seiner Lizenz. Sonst eine nach Token abgerechnete API, die wie ein Auftragsverarbeiter zu behandeln ist.
  • Die Latenz stärker beobachten als die Rechnung. Die Kosten des Rerankings sind gering; die zusätzliche Zeit spürt man bei jeder Frage.
  • Das Kriterium ausformulieren, wenn der Fachbereich es verlangt. Ein LLM als Richter erlaubt es, festzulegen, was für Sie relevant ist („zumindest teilweise“, „gültiges Dokument“), während ein Cross-Encoder eine anderswo gelernte Relevanz anwendet.

Bei Ask This Guy ist das Reranking Teil der Dokumentensuche unseres schlüsselfertigen RAG für Unternehmen: hybride Suche, dann Jev für Organisationen mit der KI-Richtlinie Worldwide. Organisationen mit der Richtlinie „nur EU“ senden keinen Auszug an diesen US-Anbieter.

Häufige Fragen zu Reranking und Rerankern

Was ist ein Reranker?

Ein Reranker ist ein Modell, das eine Frage und eine Liste von Passagen erhält, die eine Suche bereits gefunden hat, und jeder Passage eine Relevanznote gibt. Die Liste wird anschließend nach diesen Noten neu geordnet und meist gekürzt, sodass nur die besten übrig bleiben. In einem RAG sitzt er zwischen der Suche und dem LLM, das die Antwort formuliert.

Was ist der Unterschied zwischen einem Cross-Encoder und einem Bi-Encoder?

Ein Bi-Encoder wandelt die Frage und jedes Dokument in getrennte, vorab berechnete Vektoren um, was eine Suche in Millionen von Passagen in wenigen Millisekunden erlaubt. Ein Cross-Encoder liest Frage und Passage gemeinsam im selben Modell: Er ist genauer, muss die Berechnung aber für jedes Paar neu ausführen. Deshalb nutzt man den Bi-Encoder zum Suchen und den Cross-Encoder, um einige Dutzend Kandidaten neu zu ordnen.

Ist Reranking in einem RAG unverzichtbar?

Nein. Es verbessert die Relevanz, wenn die Suche viele Kandidaten unterschiedlicher Qualität liefert, was bei hybrider Suche häufig ist. Wenig bringt es, wenn die Suche nur wenige Passagen liefert, wenn die Frage eine exakte Referenz betrifft oder wenn die richtige Passage nicht gefunden wurde. Entscheiden lässt sich das nur durch Messung an einem Satz echter Fragen.

Wie viele Passagen sollte man einem Reranker geben?

Eine allgemeingültige Zahl gibt es nicht. Die veröffentlichten Beispiele reichen von rund hundert Kandidaten (Dokumentation von Sentence Transformers) bis zu 150 Kandidaten, von denen 20 behalten werden (Contextual Retrieval von Anthropic). Mehr Kandidaten verbessern den Recall, erhöhen aber Latenz und Kosten, da der Reranker jede Passage bewertet. Die richtige Einstellung findet man, indem man beides misst.

Welcher Reranker eignet sich für deutschsprachige Dokumente?

Es braucht ein mehrsprachiges Modell. Bei Open Weights stehen bge-reranker-v2-m3 (BAAI) und Qwen3-Reranker (Alibaba) unter der Lizenz Apache 2.0 und sind mehrsprachig; sie lassen sich in Europa auf Ihren eigenen Servern hosten. Bei den APIs evaluiert Cohere Rerank 5 auf rund zwanzig Sprachen. In jedem Fall gilt: auf den eigenen Dokumenten testen.

Ersetzt die RRF-Fusion einen Reranker?

Nicht ganz. Die Reciprocal Rank Fusion führt mehrere Ergebnislisten (Stichwortsuche und semantische Suche) anhand ihrer Ränge zusammen, ohne den Text zu lesen. Sie beurteilt nicht die Relevanz einer Passage für die Frage. Sie ist ein ausgezeichneter erster Schritt, kostenlos und deterministisch; ein Reranker kommt danach, wenn die Messung zeigt, dass er einen Gewinn bringt.

Fazit

Reranking verbessert ein RAG oft mit wenig Aufwand, sofern es an seinem Platz bleibt: nach einer guten Suche, nie an ihrer Stelle. Ein Cross-Encoder oder ein LLM als Richter bringt eine feine Lektüre, die Vektoren nicht leisten. Eine RRF-Fusion löst bereits einen guten Teil des Problems, ganz ohne Modell. Dazwischen entscheidet die Messung.

Wie sich dieses Reranking in der Produktion verhält, mit Zahlen zu Kosten und Latenz, zeigt unser Erfahrungsbericht zu Jev. Und wenn Sie eine gefilterte Dokumentensuche auf Ihren eigenen Dokumenten testen möchten, buchen Sie eine Demo.

Partager :

Ähnliche Artikel

Hybrid Search: 6 Wege, eine Information zu findenKonzepte

Hybrid Search: 6 Wege, eine Information zu finden

Hybrid Search erklärt: semantische Suche, Keywords, Fachtools, Datenbankabfrage, Katalog und Sonderverarbeitung. Die sechs Wege, die ein KI-Agent kombiniert.

Wie viele Dokumente schafft ein RAG? Agentic RAG skaliertKonzepte

Wie viele Dokumente schafft ein RAG? Agentic RAG skaliert

Ein selbst gebautes RAG stößt bei einigen Tausend Dokumenten pro Agent an Grenzen, bei ähnlichen früher. Agentic RAG filtert zuerst und schafft über 100.000.

Embedding-Modell: Was uns eine gescheiterte Demo lehrteKonzepte

Embedding-Modell: Was uns eine gescheiterte Demo lehrte

Langsame Embedding-APIs, Abhängigkeit vom Anbieter: unsere Erfahrung aus der Produktion und warum ATG das Embedding-Modell Qwen3 Embedding 8B parallel aufruft.

4 min

Interesse an unseren Lösungen?

Erfahren Sie, wie Ask This Guy Ihre KI-Projekte beschleunigen kann

Demo buchen