
LLM-Gateway: OpenRouter, LiteLLM oder Eigenbau?
LLM-Gateway oder AI Gateway: was ein KI-Gateway wie OpenRouter oder LiteLLM leistet, was es kostet und wo Ihre Daten durchlaufen. Mit unseren Preismessungen.
Im Juni sorgten wir uns auf LinkedIn um die Unternehmen, die ihre Agenten um einen einzigen Anbieter herum gebaut hatten. Innerhalb von zwei Monaten war das Premium-Modell von Anthropic von 5/25 $ auf 10/50 $ pro Million Token gestiegen, direkt nach einem Wechsel des Tokenizers, durch den dieselbe Anfrage laut Messungen von OpenRouter ohnehin schon 30 bis 45 % mehr Token verbrauchte. Eine Rechnung, die sich mit 2,6 bis 2,9 multiplizierte, ohne dass eine Zeile Code geändert wurde.
Ihr Modell erledigte die Arbeit sehr gut. Der Fehler lag woanders: Die Anwendung rief eine einzige, fest verdrahtete API auf. Fällt der Anbieter aus, erhöht er die Preise oder zieht er ein Modell zurück, bleibt nur, es hinzunehmen.
Die Schicht, die das verhindert, heißt LLM-Gateway oder KI-Gateway. Der Markt bietet sie in allen Formen an, von OpenRouter, dem bekanntesten Dienst, bis LiteLLM, der Open-Source-Referenz. Üblicherweise vergleicht man sie nach Katalogumfang und Preis. Im Unternehmen beginnen wir mit einer anderen Frage: Wo laufen Ihre Daten durch?
Was ist ein LLM-Gateway oder AI Gateway?
Ein LLM-Gateway ist eine Softwareschicht zwischen Ihren Anwendungen und den Anbietern von KI-Modellen. Es stellt eine einzige API bereit, schickt jede Anfrage an das jeweils passendste Modell und den passendsten Anbieter und schaltet automatisch auf einen anderen um, wenn der erste versagt.
Es führt selbst kein Modell aus. Das unterscheidet es von einem Inferenzanbieter, der die Modelle auf eigenen GPUs betreibt. Diesen Unterschied erläutern wir in unserem Leitfaden zur KI-Inferenz.
Mehrere Namen bezeichnen dasselbe: AI Gateway, LLM-Gateway, Multi-Provider-Gateway. Der Begriff LLM Router bezeichnet manchmal einen engeren Baustein, der das Modell nach Schwierigkeit der Frage auswählt, ohne Failover oder Schlüssel zu verwalten.
Was ein LLM-Gateway wirklich leistet
Es schaltet um, wenn ein Anbieter ausfällt
Kein Inferenzanbieter erreicht allein 99,9 % Verfügbarkeit. Das haben wir im Juli 2026 über dreißig Tage in Produktion bei fünf von ihnen gemessen:
Erfolgsquote je Inferenzanbieter: Scaleway 99,87 %, Nebius 99,81 %, Cerebras 99,78 %, DeepInfra 99,76 %, Mistral 99,56 %
Einzeln betrachtet erreicht keiner die drei Neunen. Hintereinandergeschaltet hinter einem Gateway, das ihren Zustand prüft und umschaltet, sobald einer ausfällt, gelingt es. Die vollständige Argumentation, mit den vertraglichen Zusagen der großen Anbieter, steht in unserem Artikel KI-SLA im Unternehmen.
Das Umschalten setzt voraus, dass dasselbe Modell bei mehreren Anbietern läuft oder dass Sie ein Ersatzmodell akzeptieren. Das ist einer der konkreten Vorteile von Open-Weight-Modellen: Man wechselt den Anbieter, ohne die Prompts anzufassen.
Es wägt zwischen Preis, Geschwindigkeit und Land ab
Das ist die am wenigsten bekannte Funktion, und die, die am meisten einbringt. Dasselbe Modell hat je nach Anbieter weder denselben Preis noch dieselbe Geschwindigkeit noch dieselbe Nationalität. Unsere Messungen:
Zwei Balkendiagramme. Links das Modell gpt-oss-120b: Nebius liefert es mit 40 Token pro Sekunde, Groq mit 500, beide zu 0,15 $ Eingabe und 0,60 $ Ausgabe pro Million Token, Cerebras mit 3.000 Token pro Sekunde für 0,35 und 0,75 $. Rechts kostet das Modell DeepSeek V4 Pro 0,57 $ pro Million Token bei DeepSeek (China), 1,69 $ bei DeepInfra (USA), 2,11 $ bei Umans und 2,21 $ bei Arkane Cloud (Frankreich), 2,27 $ bei Nebius (Niederlande).
Links gpt-oss-120b. Nebius und Groq berechnen denselben Preis, 0,15 $ Eingabe und 0,60 $ Ausgabe pro Million Token. Der erste liefert 40 Token pro Sekunde, der zweite 500. Cerebras kommt auf 3.000 Token pro Sekunde, zu einem kaum höheren Tarif. Faktor 75 bei der Geschwindigkeit, bei fast gleichem Preis.
Rechts DeepSeek V4 Pro. Von DeepSeek bereitgestellt, kostet es 0,57 $ pro Million Token. Bei Nebius 2,27 $. Dasselbe Modell, viermal so teuer. Doch der günstigste Anbieter ist ein chinesisches Unternehmen, und die drei teuersten sind europäisch. Der niedrigste Preis ist nicht immer der, den Sie zahlen dürfen.
Eine letzte Feinheit, die im Diagramm nicht zu sehen ist: Die Flagge zeigt das Land der Gesellschaft, nicht das des Rechenzentrums. Nebius, ein niederländisches Unternehmen, liefert gpt-oss-120b aus Finnland, DeepSeek V4 Pro aber aus Großbritannien.
Ein Gateway, das diese drei Variablen ausliest, wählt Anfrage für Anfrage die Kombination, die Ihre Vorgaben zu den niedrigsten Kosten erfüllt.
Es bündelt Schlüssel und Konten
Die Anwendung kennt nur eine API, meist kompatibel mit der von OpenAI. Die Schlüssel der Anbieter liegen an einem Ort. Ein Modellwechsel wird zu einer Konfigurationszeile statt zu einer Baustelle, und genau das ermöglicht Abwägungen wie die in unserem Artikel über OCR, in dem ein Open-Weight-Modell die Rechnung durch 10 geteilt hat.
Die Kehrseite folgt sofort: Das Gateway verwahrt alle Ihre Schlüssel. Darauf kommen wir weiter unten zurück, bei LiteLLM.
Es misst den Verbrauch
Kosten je Team, je Anwendung oder je Nutzer, Kontingente, Aufrufprotokolle. Oft ist das die Funktion, die die Finanzabteilung überzeugt, lange vor der Verfügbarkeit.
Die fünf Familien von Gateways
Lesehilfe: Grün ist günstig, Rot ungünstig. Das Zeichen ± markiert ein Kriterium, das vom Anbieter oder von Ihrer Konfiguration abhängt.
| Familie | Beispiele | Wo Ihre Daten durchlaufen | Geringer Betriebsaufwand | Souveränität | Kosten |
|---|---|---|---|---|---|
| SaaS | OpenRouter, Eden AI, Requesty | Beim Anbieter des Gateways, dann beim Modellanbieter | ++ | ± | Gebühren auf Guthaben oder Abonnement |
| Open Source zum Selbsthosten | LiteLLM, Portkey Gateway | Bei Ihnen, dann beim Modellanbieter | − | +++ | Server und Arbeitszeit des Teams |
| Infrastrukturbaustein | Cloudflare AI Gateway, Kong AI Gateway | Beim Netzbetreiber, dann beim Modellanbieter | + | ± | Je nach Angebot |
| Eigenbau | Ihr eigener Code | Bei Ihnen, dann beim Modellanbieter | −−− | +++ | Arbeitszeit des Teams, vor allem für die Messung |
| In eine Plattform integriert | Ask This Guy zum Beispiel | Beim Plattformanbieter, dann beim Modellanbieter | +++ | ± | Im Abonnement enthalten |
Die Spalte Souveränität ist nur zusammen mit der vorherigen zu lesen. Ein bei Ihnen in Europa gehostetes Gateway kann Ihre Anfragen durchaus in die USA schicken, wenn niemand es so konfiguriert hat, dass es das verhindert.
OpenRouter: was es ist und was Unternehmen prüfen sollten
OpenRouter ist ein amerikanisches SaaS-Gateway: eine einzige, mit OpenAI kompatible API, die Zugang zu mehreren hundert Modellen gibt, bereitgestellt von Dutzenden Anbietern. Sie kaufen Guthaben, rufen ein Modell auf, OpenRouter wählt den Anbieter und schaltet bei einem Fehler um. Laut Dealroom hat das Unternehmen im Mai 2026 113 Millionen Dollar eingesammelt, in einer Runde unter Führung von CapitalG, dem Wachstumsfonds von Alphabet.
Für einen Entwickler, der an einem Nachmittag zehn Modelle testen will, ist das unschlagbar. Für ein Unternehmen verdienen vier Punkte eine Prüfung, bevor Daten darüber laufen.
Zuerst das Geschäftsmodell. OpenRouter gibt die Preise der Anbieter ohne Aufschlag weiter und verdient am Kauf von Guthaben: 5,5 % Gebühr, mindestens 0,80 $. Wenn Sie eigene Anbieterschlüssel mitbringen, sind die ersten 25.000 Dollar Monatsverbrauch gebührenfrei, danach behält OpenRouter 5 % ein.
Bei den Daten speichert OpenRouter standardmäßig weder Prompts noch Antworten. Zwei Optionen ändern das, wenn Sie sie aktivieren: die Protokollierung Ihrer Anfragen und die Erlaubnis für OpenRouter, sie zu nutzen, gegen einen Rabatt von 1 %. Entscheidend ist, was danach geschieht, bei jedem aufgerufenen Anbieter, der seine eigene Richtlinie anwendet.
Die Kontrolle über das Routing ist die eigentliche Stärke von OpenRouter, sofern man sie konfiguriert. Der Parameter data_collection: "deny" schließt Anbieter aus, die Daten sammeln, zdr: true beschränkt das Routing auf Anbieter ohne Datenspeicherung, und die Listen only und ignore legen fest, wer antworten darf. Die Dokumentation zur Anbieterauswahl warnt selbst, dass jede Einschränkung die Ausweichmöglichkeiten verringert.
Schließlich die Rechtsordnung. OpenRouter bietet über eu.openrouter.ai ein auf Europa beschränktes Routing, das den Tarifen Business und Enterprise vorbehalten ist. Die Verarbeitung bleibt dann in der Europäischen Union. Die Gesellschaft selbst ist aber amerikanisch und damit wie jeder US-Dienstleister dem CLOUD Act unterworfen, wo auch immer ihre Server laufen. Warum dieser Punkt zählt, erklären wir in Was, wenn die USA Ihnen den digitalen Hahn zudrehen?
Ein Wort zu den kostenlosen Modellen, die viele Neugierige anziehen. Sie sind auf 50 Anfragen pro Tag begrenzt, oder 1.000 nach dem Kauf von 10 $ Guthaben. Perfekt zum Testen, unbrauchbar in Produktion.
Welche Alternative zu OpenRouter gibt es in Europa?
Auf SaaS-Seite bietet Eden AI, ein französischer Anbieter, einen europäischen Endpunkt, der nur an Anbieter und Modelle weiterleitet, die für eine Verarbeitung in Europa freigegeben sind, und gibt an, weder Prompts noch Dateien noch Antworten zu speichern. Wie bei OpenRouter gilt die Garantie für ein Paar aus Modell und Anbieter: Prüfen Sie sie für jedes, das Sie aktivieren.
Die andere Option ist, ein Open-Source-Gateway selbst in einem europäischen Rechenzentrum zu hosten. Das meistgenutzte heißt LiteLLM.
Open-Source-LLM-Gateway: LiteLLM zum Selbsthosten
LiteLLM ist die Open-Source-Referenz der Branche: eine Python-Bibliothek und ein Proxy-Server, die eine mit OpenAI kompatible API vor mehr als hundert Anbietern bereitstellen. Sie hosten es, wo Sie wollen, auch in Europa, und Ihre Anfragen laufen vor dem endgültigen Anbieter über keinen Dritten. Es gibt weitere Open-Source-Gateways, etwa Portkey Gateway oder Envoy AI Gateway; die folgenden Anmerkungen gelten auch für sie.
Was das Werkzeug Ihnen nicht abnimmt, ist der Betrieb. Man muss es aktualisieren, selbst hochverfügbar machen (sonst wird es zum Single Point of Failure, den es beseitigen sollte), und vor allem messen. Zu wissen, welcher Anbieter jetzt schnell antwortet, erfordert Sonden, Schwellenwerte und eine Historie. Das ist der Teil, den wir beim Bau unseres eigenen Gateways am meisten unterschätzt haben.
Dazu kommt die Sicherheit. Am 24. März 2026 wurden zwei manipulierte Versionen von LiteLLM, 1.82.7 und 1.82.8, auf PyPI veröffentlicht. Sie enthielten einen Credential Stealer, der Umgebungsvariablen, SSH-Schlüssel, Cloud-Zugangsdaten und Datenbankpasswörter abgriff. Sie blieben rund vierzig Minuten online. Das offizielle Docker-Image des Proxys, das seine Abhängigkeiten fixiert, war nicht betroffen, und innerhalb einer Woche erschien eine saubere Version. Die Suchanfragen nach LiteLLM haben sich in Frankreich in jenem Monat mehr als verdreifacht.
Die Lehre geht über LiteLLM hinaus. Ein Gateway verwahrt konstruktionsbedingt die Schlüssel aller Ihrer Anbieter: Es ist das lohnendste Ziel Ihrer KI-Infrastruktur. Wenn Sie es selbst hosten, fixieren Sie die Versionen, isolieren Sie es und behandeln Sie es wie einen Tresor, nicht wie ein Hilfsprogramm.
Fixieren heißt nicht warten: Im April 2026 wurde eine kritische Lücke in LiteLLM 36 Stunden nach der Aufnahme ihres Sicherheitshinweises in die Schwachstellendatenbanken angegriffen. Wechseln Sie rasch auf die korrigierte Version, nachdem Sie geprüft haben, dass sie aus der offiziellen Quelle stammt. Warum sich diese Frist inzwischen in Stunden bemisst, erklären wir in unserem Artikel über Claude Mythos und das Patch-Fenster.
LiteLLM vs. OpenRouter: der Vergleich
Beide Werkzeuge beantworten dieselbe Frage, eine einzige API vor mehreren Anbietern, aber OpenRouter ist ein Dienst, den man mietet, LiteLLM eine Software, die man selbst betreibt.
| OpenRouter | LiteLLM | |
|---|---|---|
| Art | SaaS-Dienst | Open-Source-Software |
| Hosting | Server von OpenRouter; auf die EU beschränktes Routing in den Tarifen Business und Enterprise | Wo Sie wollen, auch in einem europäischen Rechenzentrum |
| Rechtsträger | US-Gesellschaft, dem CLOUD Act unterworfen | Keiner zwischen Ihnen und dem endgültigen Anbieter |
| Kosten | 5,5 % auf den Kauf von Guthaben (mindestens 0,80 $); 5 % ab 25.000 $ pro Monat mit eigenen Schlüsseln | Kostenlos, Hosting und Betrieb liegen aber bei Ihnen |
| Daten | Standardmäßig keine Speicherung von Prompts; Routing auf Anbieter ohne Datenspeicherung beschränkbar | Laufen vor dem endgültigen Anbieter über keinen Dritten |
| Betrieb | Nichts zu verwalten | Updates, Hochverfügbarkeit, Performance-Messung, Sicherheit |
| Für wen | Prototyping, Modelltests | Teams mit eigener Infrastruktur und Souveränitätsvorgaben |
Zahlen und Bedingungen dieser Tabelle sind in den beiden vorherigen Abschnitten im Detail und mit Quellen beschrieben. Auch das jeweilige Risiko unterscheidet sich: Bei OpenRouter ist es rechtlicher Natur, bei LiteLLM betrieblicher, wie die Veröffentlichung manipulierter Versionen im März 2026 gezeigt hat.
Das Gateway ist auch ein Werkzeug der Souveränität
Man stellt das Gateway als Werkzeug der Zuverlässigkeit dar. Es ist aber auch der einzige Ort Ihrer Architektur, an dem eine Souveränitätsregel für alle Anfragen zugleich gilt.
„Keine Daten gehen an einen nicht europäischen Anbieter.“ Ohne Gateway hängt diese Regel von der Disziplin jedes Entwicklers ab, der einen API-Aufruf schreibt. Mit Gateway ist sie eine Konfigurationszeile, und das automatische Umschalten kann Sie an einem Abend mit Störung nicht mehr zu einem Anbieter schicken, den Sie nicht freigegeben haben.
Drei Bedingungen, damit die Regel hält:
- Das Gateway selbst muss europäisch sein. Sonst laufen alle Ihre Anfragen über eine dem CLOUD Act unterworfene Gesellschaft, bevor sie bei Mistral oder Scaleway ankommen.
- Der Filter muss das Land der Gesellschaft und das des Rechenzentrums erfassen. Das Beispiel Nebius weiter oben zeigt es: Ein europäisches Unternehmen kann ein Modell von außerhalb der Union bereitstellen.
- Es braucht genug europäische Anbieter zum Umschalten. Jeder von der Liste gestrichene Anbieter ist eine Ausweichroute weniger: Das ist der Preis der Souveränität, und man misst ihn besser vor der ersten Störung.
Die Kriterien, die wir an jeden KI-Akteur anlegen, beschreiben wir auf unserer Seite zu souveräner KI.
Braucht man ein LLM-Gateway?
Noch nicht, wenn Sie in der POC-Phase sind, mit einem Modell, einem Use Case und ohne Verfügbarkeitszusage. Schreiben Sie Ihre Aufrufe trotzdem hinter eine kleine Abstraktionsschicht: An dem Tag, an dem ein Gateway nötig wird, schließen Sie es an, ohne die Anwendung neu zu schreiben.
Ja, sobald eine Anwendung mit Nutzern, die von ihr abhängen, in Produktion geht, sobald mehrere Teams Modelle nutzen oder sobald eine Souveränitätsvorgabe für alle Aufrufe gelten muss.
Und Sie müssen es nicht selbst bauen, wenn Sie eine KI-Plattform kaufen, die eines integriert. Bitten Sie den Anbieter einfach, es zu beschreiben: welche Anbieter, in welchen Ländern, mit welchen Umschaltregeln und welcher Zusage, nicht mit Ihren Daten zu trainieren.
| Ihre Situation | Was wir empfehlen |
|---|---|
| Prototypen, keine sensiblen Daten | OpenRouter, wegen der Breite des Katalogs |
| Produktion, europäische Vorgabe, kein Infrastrukturteam | Europäisches SaaS-Gateway oder integrierte Plattform |
| Produktion, Infrastrukturteam, strenge Vorgabe | LiteLLM oder Portkey Gateway, in Europa gehostet und abgesichert |
| Sie kaufen ein fachliches Ergebnis, keinen technischen Baustein | Plattform mit integriertem Gateway |
Bei Ask This Guy
Das Gateway ist in die Plattform integriert: Unsere Kunden müssen nichts bauen und nichts betreiben. Es wählt laufend die Modelle aus, die antworten, und zwar schnell, mit einem Service-Ziel von über 99,9 % im definierten Rahmen.
Die Souveränitätsregel ist eine Einstellung der Organisation. Nur EU: Mistral, Scaleway, Nebius, Black Forest Labs, dazu unsere eigenen GPUs bei Verda, in Finnland und Island. Weltweit: dieselben, plus ausgewählte nicht europäische Anbieter. Die Einstellung lässt sich jederzeit in der Konsole ändern, und die Details sind auf unserer Seite zur Verwaltung der KI-Anbieter öffentlich.
Die Kosten der Modelle sind im Abonnement enthalten. Die oben beschriebenen Unterschiede bei Preis und Geschwindigkeit sind unser Problem, nicht Ihres.
Und wenn Sie bereits ein eigenes Gateway oder einen Vertrag mit einem Anbieter haben, lassen sich diese über unseren Modus Bring Your Own AI an die Plattform anschließen. Er ist auf Anfrage verfügbar.
Häufige Fragen zu LLM-Gateways
LLM-Gateway oder AI Gateway: Was ist der Unterschied?
Beide Begriffe bezeichnen dieselbe Schicht: einen einzigen Zugangspunkt vor mehreren Modellanbietern, mit automatischem Umschalten. AI Gateway ist etwas weiter gefasst, weil manche Produkte auch Bild-, Audio- oder Embedding-Modelle abdecken. LLM-Gateway betont die Sprachmodelle, die den Großteil des Verkehrs im Unternehmen ausmachen.
Was unterscheidet ein LLM-Gateway von einem klassischen API-Gateway?
Ein klassisches API-Gateway leitet Aufrufe an Ihre eigenen Dienste weiter, authentifiziert und begrenzt sie. Ein LLM-Gateway erledigt dieselbe Arbeit vor Anbietern von KI-Modellen und ergänzt, was dieses Geschäft verlangt: Token zählen, Preis und Geschwindigkeit mehrerer Anbieter für dasselbe Modell vergleichen und auf einen anderen Anbieter oder ein anderes Modell umschalten, wenn einer ausfällt. Mehrere API-Gateways am Markt, etwa Kong, bieten inzwischen ein eigenes KI-Modul an.
Was ist OpenRouter?
OpenRouter ist ein KI-Gateway, das ein amerikanisches Unternehmen als SaaS anbietet. Es gibt Zugang zu mehreren hundert Modellen, von OpenAI, Anthropic, Google, Mistral oder mit offenen Gewichten, über eine einzige, mit OpenAI kompatible API. Es wählt den Anbieter, der jede Anfrage bedient, schaltet bei einem Fehler um und finanziert sich über eine Gebühr von 5,5 % auf den Kauf von Guthaben.
Ist OpenRouter DSGVO-konform?
OpenRouter speichert Prompts standardmäßig nicht, erlaubt es, das Routing auf Anbieter ohne Datenspeicherung zu beschränken, und bietet in den Tarifen Business und Enterprise eine Verarbeitung in Europa. Das Unternehmen bleibt amerikanisch und damit dem CLOUD Act unterworfen. Die Konformität hängt vor allem von Ihrer Konfiguration und den aufgerufenen Anbietern ab: Sie ist im Einzelfall mit Ihrem Datenschutzbeauftragten zu prüfen.
LiteLLM oder OpenRouter: Was wählen?
OpenRouter ist ein schlüsselfertiger Dienst: nichts zu hosten, aber Ihre Anfragen laufen über ein amerikanisches Unternehmen, das 5,5 % auf das Guthaben erhebt. LiteLLM ist Open-Source-Software, die Sie selbst hosten: Sie entscheiden, wo Ihre Daten durchlaufen, müssen sie aber betreiben, absichern und aktualisieren. Das erste eignet sich für Prototyping, das zweite für Teams mit eigener Infrastruktur und Souveränitätsvorgaben.
Erhöht ein Gateway die Latenz?
Ein wenig, aber selten spürbar. Der Umweg über ein Gateway kostet höchstens einige Dutzend Millisekunden, während die Generierung einer Antwort Sekunden dauert. Ein Gateway, das den schnellsten Anbieter wählt, spart weit mehr Zeit, als es kostet: Bei gpt-oss-120b reicht die Spanne zwischen den Anbietern von 40 bis 3.000 Token pro Sekunde.
Kann man die kostenlosen Modelle von OpenRouter im Unternehmen nutzen?
Zum Testen ja. Für die Produktion nein: Sie sind auf 50 Anfragen pro Tag begrenzt, oder 1.000 nach dem Kauf von 10 $ Guthaben, ohne Service-Zusage. Und ein Modell, das nur von Anbietern bereitgestellt wird, die Daten speichern, ist für Sie nur zugänglich, wenn Sie diese Anbieter in Ihren Einstellungen erlaubt haben: Prüfen Sie diese, bevor Sie irgendetwas dorthin senden.
Fazit
Eine Anwendung, die an einem einzigen Anbieter hängt, ist seinen Ausfällen, seinen Preiserhöhungen und seiner Rechtsordnung ausgeliefert. Ein Gateway gibt Ihnen diese drei Entscheidungen zurück, vorausgesetzt, Sie wissen, wo es läuft und wer es kontrolliert.
Wenn Sie sehen möchten, wie ein Gateway unter realen Bedingungen eine europäische Richtlinie anwendet: Demo buchen.


