Embedding-Modell: Was uns eine gescheiterte Demo lehrte

Embedding-Modell: Was uns eine gescheiterte Demo lehrte

Langsame Embedding-APIs, Abhängigkeit vom Anbieter: unsere Erfahrung aus der Produktion und warum ATG das Embedding-Modell Qwen3 Embedding 8B parallel aufruft.

Konzepte
4 Min. Lesezeit

Hinweis: Alle folgenden Daten stammen aus einem Benchmark, den die Plattform Ask This Guy betreibt, und beziehen sich auf den Zeitraum vom 5. bis 25. Januar 2026. Die Anfragen werden in regelmäßigen Abständen von einem ATG-Server in Frankreich verschickt, der die Antwortzeiten misst.

Ein unangenehmer Moment

Call mit einem Interessenten. Wir sind da, um Ask This Guy vorzustellen, unsere KI-Lösung, die sich (unter anderem) auf die internen Dokumente des Unternehmens stützt. Alles ist vorbereitet, die Demo sitzt.

Wir tippen eine einfache Anfrage in die Oberfläche. Und dann ... Stille.

Drei Sekunden. Zehn Sekunden. Wir versuchen, zu einem anderen Thema überzuleiten, stammeln ein wenig, aber wir ahnen, was im Kopf des Kunden vorgeht, und die unausgesprochene Frage: „Funktioniert Ihre Lösung eigentlich wirklich?“

Nach dem Meeting werfen wir einen Blick in die Logs, und das Urteil steht sofort fest: Wir hatten einen schlechten Moment erwischt. An diesem Tag brauchte die API von Mistral fast eine Minute für eine Antwort. Eine bloße Anomalie? Nicht wirklich: Wie wir sehen werden, ist das ein strukturelles Problem.

Diese peinliche Episode hat uns gezwungen, uns eine einfache, aber entscheidende Frage zu stellen: Wie garantiert man verlässliche Performance in der Produktion, wenn man von externen KI-Anbietern abhängt?

Was wir seitdem gelernt haben, teilen wir hier mit Ihnen.

Zurück zu den Grundlagen: Was ist ein Embedding-Modell?

Bevor wir ins Thema einsteigen, eine kurze Erinnerung. Wenn Sie in Ihrem Unternehmen eine KI einsetzen, die sich über eine RAG-Architektur (Retrieval-Augmented Generation) auf Ihre internen Dokumente stützt, brauchen Sie Embeddings für die semantische Suche.

Was ist ein Embedding?

Stellen Sie sich vor, die Bedeutung jedes Satzes Ihrer Dokumente würde in einen Zahlenvektor umgewandelt, also in eine mathematische Darstellung ihrer Bedeutung. Genau das ist ein Embedding, und das Embedding-Modell ist das KI-Modell, das diese Umwandlung berechnet. So lässt sich sehr schnell eine Information finden, die dem Bedarf eines Nutzers entspricht.

Der Mechanismus ist in der Theorie einfach:

  1. Ein Nutzer sendet eine Nachricht
  2. Das System formuliert eine oder mehrere Suchanfragen
  3. Diese Anfragen werden in Embeddings (Vektoren) umgewandelt
  4. Diese Vektoren werden mit denen Ihrer Dokumente verglichen
  5. Die ähnlichsten Auszüge werden abgerufen
  6. Die Antwort wird auf Basis dieser Auszüge generiert

Sehen Sie, worauf wir hinauswollen? Jedes Mal, wenn ein Nutzer eine Anfrage sendet, muss ein Embedding berechnet werden. Dauert diese Berechnung, wartet der Nutzer. Schlägt das Embedding fehl, gibt es überhaupt keine Antwort.

Deshalb ist die Performance der Embeddings kein technisches Detail: Sie ist die Nutzererfahrung.

Eine akzeptable Performance lässt sich zum Beispiel so definieren:

  • Ziel: eine Latenz unter 300 ms in der großen Mehrheit der Fälle
  • Kritische Grenze: niemals über eine Sekunde

Und ein weiterer entscheidender Punkt darf nicht vergessen werden: Nicht alle Embedding-Modelle sind gleichwertig. Die Unterschiede in der Relevanz der Antworten sind enorm, das haben wir erlebt, als wir „mittelmäßige“ Modelle testen wollten. Wer Modelle vergleichen möchte, findet im MTEB Leaderboard von HuggingFace eine sehr gute Grundlage.

Unser erster Weg: die „Großen“ des Marktes

Als wir mit der Entwicklung von Ask This Guy begannen, schien die Wahl offensichtlich: die großen Akteure des Marktes, Mistral und OpenAI. Das machen mehr oder weniger alle, oder?

Genau dort haben wir tatsächlich angefangen.

Die Eignung dieses Ansatzes ist ... durchwachsen. Die Performance von OpenAI liegt im Schnitt bei rund einer Sekunde für das Modell large (und etwa einer halben Sekunde für das Modell small). Das ist keine Katastrophe, aber weit von unserem Ziel entfernt.

Mistral wiederum zeigt eine bessere mediane Performance um 300 ms, aber eine hohe Fehlerquote:

Performance von Mistral und OpenAIPerformance von Mistral und OpenAI

Sehen wir uns die Unregelmäßigkeit Tag für Tag genauer an, insbesondere bei Mistral:

Performance von Mistral und OpenAIPerformance von Mistral und OpenAI

Meistens werden mehr als 95 % der Anfragen in weniger als einer Sekunde verarbeitet. Auf dem Papier ist das ordentlich. Aber manche Tage sind schlicht katastrophal. Genau das haben wir bei unserer Demo erlebt. Und genau das zeigen unsere Daten unerbittlich.

Zweites Problem: der Lock-in beim Embedding-Modell

Nehmen wir an, Sie hätten den perfekten Anbieter gefunden (auch wenn das an diesem Punkt des Artikels noch nicht der Fall ist).

Perfekt.

Aber was passiert morgen, wenn seine Performance nachlässt? Wenn seine Preise steigen? Oder wenn das Unternehmen verschwindet?

Die naheliegende Antwort wäre: „Dann wechseln wir eben den Anbieter!“

Nur ... so einfach ist das nicht.

Das grundlegende technische Problem: Embeddings, die mit unterschiedlichen Modellen erzeugt wurden, lassen sich nicht vergleichen. Die Vektoren sind nicht kompatibel. Sobald Sie ein Modell zur Indexierung Ihrer Dokumente verwendet haben, sind Sie darauf festgelegt, für die Anfragen dasselbe Modell zu nutzen (oder alle Ihre Dokumente neu zu indexieren).

Hier wird die Modellwahl strategisch:

  • Wenn Sie ein proprietäres Modell nutzen (etwa eines von OpenAI), sind Sie vollständig von diesem Anbieter abhängig. Kein Ausweg.
  • Wenn Sie ein Open-Weight-Modell nutzen, können Sie dagegen mehrere Anbieter für dasselbe Modell verwenden. Und genau da wird es wirklich interessant.

Die Spezialisten für Inferenz

Zurück zu unseren Benchmark-Ergebnissen. Ein Trend zeichnet sich ab: Einige Anbieter schneiden deutlich besser ab als die traditionellen Giganten. Es sind Spezialisten für „Inferenz“, also die Fähigkeit, ein KI-Modell schnell und zuverlässig auszuführen. Sie setzen auf Open-Weight-Modelle.

Performancevergleich von Embedding-AnbieternPerformancevergleich von Embedding-Anbietern

Bei den Embeddings heben sich konkret Scaleway und Nebius (zwei Europäer!) unter den getesteten Anbietern deutlich ab.

Auch ihre Konstanz ist besser, vor allem bei Scaleway, wo sie bemerkenswert ist:

Performancevergleich von Embedding-AnbieternPerformancevergleich von Embedding-Anbietern

Warum? Vermutlich, weil sie auf Cloud-Infrastruktur und Inferenz spezialisiert sind, während OpenAI oder Mistral in erster Linie Modellentwickler sind. Spezialisierung zahlt sich aus.

Reicht das?

Noch nicht ganz. So gut die Performance mancher Anbieter auch ist, es bleiben Momente mit Leistungseinbrüchen. Und das Risiko, das jedem Vendor Lock-in innewohnt, falls die Performance nachlässt oder die Preise steigen.

Um beide Probleme zu lösen, haben wir uns für ein besonders leistungsfähiges Open-Weight-Embedding-Modell entschieden, das bei mehreren ihrerseits leistungsfähigen Anbietern verfügbar ist: Qwen 3 Embedding 8B.

Von da an sind zwei Strategien möglich:

  1. Der dynamische Ansatz: Die Performance wird in Echtzeit überwacht, und jede Anfrage geht an den Anbieter, der gerade am schnellsten ist. Schlägt eine Anfrage bei einem fehl, wird sie an den anderen geschickt.
  2. Der Ansatz „alle auf einmal“: Angesichts der geringen wirtschaftlichen und ökologischen Kosten von Embeddings (man kommt auf unter einen Cent pro Million Token; falls Ihnen das nichts sagt: Ein Embedding zu erzeugen kostet etwa 200-mal weniger, als dasselbe Dokument in einer Anfrage an GPT 5.2 zu schicken), warum darauf verzichten? Die Anfrage geht gleichzeitig an mehrere Anbieter, und die erste eintreffende Antwort wird genommen.

Für diesen zweiten Ansatz haben wir uns bei Ask This Guy entschieden.

Das Ergebnis? Äußerst stabile Performance, keine kritische Abhängigkeit von einem einzelnen Anbieter und Kosten, die sehr vernünftig bleiben.

Eine Lektion, die jeder IT-Profi kennt ... die bei KI aber noch mehr gilt

Einen POC zu bauen ist leicht. Die Produktion ist eine andere Geschichte.

In einem POC fällt Unregelmäßigkeit kaum auf. Bei ein paar Anfragen scheint alles zu funktionieren. In der Produktion aber, mit echten Nutzern, echten Volumen und hohen Erwartungen, wird jede Schwäche offensichtlich.

Die gute Nachricht: Mit Engineering und Geduld bekommt man jedes Problem in den Griff.

Unsere gescheiterte Demo? Sie hat uns einen peinlichen Moment gekostet, aber eine deutlich robustere Architektur eingebracht. Und das ist unbezahlbar.


Sie möchten mehr über unseren RAG-Ansatz oder unsere anderen Erfahrungen mit KI in der Produktion erfahren? Buchen Sie gern eine Demo!

Partager :

Ähnliche Artikel

Reranker im RAG: Reranking und Cross-Encoder erklärtKonzepte

Reranker im RAG: Reranking und Cross-Encoder erklärt

Ein Reranker ordnet die von einem RAG gefundenen Passagen neu, bevor sie ans LLM gehen. Cross-Encoder, Bi-Encoder, RRF, Kosten, Latenz: wann er sich lohnt.

Forward Deployed Engineer (FDE): Bedeutung und RolleKonzepte

Forward Deployed Engineer (FDE): Bedeutung und Rolle

FDE heißt Forward Deployed Engineer: ein Softwareingenieur, der beim Kunden arbeitet. Ursprung bei Palantir, Aufgaben, Skills, Gehalt, Unterschied zum Berater.

8 min
Wie viele Dokumente schafft ein RAG? Agentic RAG skaliertKonzepte

Wie viele Dokumente schafft ein RAG? Agentic RAG skaliert

Ein selbst gebautes RAG stößt bei einigen Tausend Dokumenten pro Agent an Grenzen, bei ähnlichen früher. Agentic RAG filtert zuerst und schafft über 100.000.

Interesse an unseren Lösungen?

Erfahren Sie, wie Ask This Guy Ihre KI-Projekte beschleunigen kann

Demo buchen