
Model Distillation: Alle zeigen auf China, alle tun es
OpenAI und Anthropic werfen chinesischen Laboren Model Distillation vor. Doch Meta, Google, Mistral und sogar xAI destillieren auch. Was wirklich bekannt ist.
Seit Januar 2025 ist Model Distillation der Lieblingsvorwurf des Silicon Valley gegen China. OpenAI machte mit DeepSeek den Anfang. Anthropic folgte: mehr als 16 Millionen Austausche mit Claude über 24.000 gefälschte Konten, zugeschrieben DeepSeek, Moonshot und MiniMax. Dann das Weiße Haus, dann eine gemeinsame Warnung von NSA, CISA und FBI, die sechs chinesische Labore namentlich nennt.
Dieselben Texte sagen jedoch alle, dass Destillation eine „weit verbreitete und legitime“ Technik ist. Am 30. April 2026 wurde Elon Musk unter Eid gefragt, ob xAI die Modelle von OpenAI destilliert habe, um Grok zu trainieren. Seine Antwort: „Teilweise“.
Wer destilliert also? Alle, und alle sagen es. Den chinesischen Laboren wird etwas anderes vorgeworfen: Modelle destilliert zu haben, die man ihnen nicht verkauft, mit gefälschten Konten und Proxys, im industriellen Maßstab. Genau für diesen Punkt wurde kein Beweis veröffentlicht.
Was ist Model Distillation in der KI?
Ein KI-Modell zu destillieren heißt, ein „Schüler“-Modell darauf zu trainieren, die Antworten eines größeren oder fortgeschritteneren „Lehrer“-Modells nachzuahmen. Der Schüler übernimmt einen guten Teil der Fähigkeiten des Lehrers, bei deutlich geringeren Trainings- und Nutzungskosten.
Die Idee stammt aus dem Jahr 2006. In dem Artikel von Bucilă, Caruana und Niculescu-Mizil zeigt ein Team der Cornell University, dass ein kleines neuronales Netz ein Ensemble aus Hunderten Klassifikatoren nachahmen kann und dabei „tausendmal kleiner und schneller“ ist, bei nahezu identischer Leistung. Der Begriff „Distillation“ (deutsch: Wissensdestillation, englisch Knowledge Distillation) wurde 2015 von Geoffrey Hinton, Oriol Vinyals und Jeff Dean populär gemacht.
Man kann auf zwei Arten destillieren.
Die interne Destillation. Der Schüler lernt aus den vollständigen Wahrscheinlichkeiten, die der Lehrer berechnet, nicht nur aus seiner endgültigen Antwort. Diese Wahrscheinlichkeiten enthalten viel Information: Das Beispiel aus dem Artikel von 2015 lautet, dass ein BMW einem Müllwagen ähnlicher ist als einer Karotte. Da man dafür ins Innere des Modells blicken muss, kann ein Labor das nur mit seinen eigenen Modellen tun.
Die Destillation über die Antworten. Man hat nur den Text, den das Modell erzeugt, meist über seine API. Man schickt ihm Hunderttausende Fragen, sammelt die Antworten und trainiert den Schüler damit. Genau diese Variante steht im Zentrum der Vorwürfe. Seit es Modelle gibt, die vor der Antwort „nachdenken“ (o1, DeepSeek-R1, Claude), ist das Reasoning selbst die begehrteste Ressource.
Das ist äußerst wirksam. DeepSeek hat Qwen- und Llama-Modelle mit 800.000 Antworten seines Modells R1 per Fine-Tuning trainiert. Laut dem DeepSeek-R1-Paper erreicht seine destillierte 32B-Version 72,6 % beim Mathematikwettbewerb AIME 2024, gegenüber 47,0 % für dasselbe Modell, das per Reinforcement Learning trainiert wurde.
Alle Labore destillieren ihre eigenen Modelle
Das kleine Modell einer Modellfamilie ist sehr oft ein Schüler des großen. Die Labore machen kein Geheimnis daraus: Es steht in ihren technischen Berichten.
| Labor | Modell | Was es dazu sagt |
|---|---|---|
| Meta | Llama 3.2 1B und 3B (2024) | Trainiert mit den Wahrscheinlichkeiten von Llama 3.1 8B und 70B |
| Meta | Llama 4 Maverick (2025) | „Co-destilliert“ aus Llama 4 Behemoth, einem Modell mit rund 2 Billionen Parametern, das als Lehrer trainiert wurde |
| Gemma 2 (2B, 9B) und Gemma 3 (2024, 2025) | Per Destillation trainiert statt durch Vorhersage des nächsten Worts, laut den technischen Berichten zu Gemma 2 und Gemma 3 | |
| Gemini 1.5 Flash, Gemini 2.5 Flash und Flash-Lite | Destilliert laut den technischen Berichten zu Gemini 1.5 und Gemini 2.5; bei Version 1.5 aus Gemini 1.5 Pro | |
| Mistral | Ministral 3 (3B, 8B, 14B; 2026) | „Kaskadierte Destillation“ aus Mistral Small 3.1 |
| Nvidia | Minitron (2024) | Pruning und Destillation von Nemotron-4 15B, mit bis zu 40-mal weniger Trainingsdaten |
| Microsoft | Phi-4 (2024) | Bezeichnet GPT-4 als sein „Lehrermodell“ |
OpenAI und Anthropic legen nicht offen, welche ihrer Modelle destilliert sind. Dafür verkaufen sie Destillation. Seit Oktober 2024 erlaubt die API von OpenAI, die Antworten von GPT-4o oder o1 zum Training von GPT-4o mini zu nutzen. Seit Dezember 2024 bietet Anthropic auf Amazon Bedrock an, Claude 3.5 Sonnet in Claude 3 Haiku zu destillieren. Einzige Bedingung: Der Schüler bleibt bei ihnen.
Anthropic fasst es im Februar 2026 selbst zusammen, in dem Beitrag, in dem es die chinesischen Labore beschuldigt: Die führenden Labore „destillieren routinemäßig ihre eigenen Modelle, um kleinere und günstigere Versionen zu erhalten“.
Die Modelle anderer destillieren: eine alte amerikanische Gewohnheit
Der nächste Schritt, das Modell eines Konkurrenten über seine API zu destillieren, wurde nicht in China erfunden. 2023 praktizierten amerikanische Universitäten ihn ganz offen.
- Alpaca (Stanford, März 2023): das Modell LLaMA von Meta, trainiert mit 52.000 Antworten eines OpenAI-Modells, für insgesamt weniger als 600 Dollar. Stanford räumt ein, dass die Nutzungsbedingungen von OpenAI die Entwicklung konkurrierender Modelle untersagen, und beschränkt Alpaca deshalb auf die Forschung.
- Vicuna (LMSYS, März 2023): 70.000 von Internetnutzern geteilte ChatGPT-Unterhaltungen, rund 300 Dollar Trainingskosten.
- Koala (Berkeley, April 2023): dasselbe Rezept, dieselbe Schlussfolgerung, aus den Daten eines stärkeren Modells lässt sich ein guter Assistent gewinnen.
- Orca (Microsoft Research, Juni 2023): ein Modell mit 13 Milliarden Parametern, das aus den Schritt-für-Schritt-Erklärungen von GPT-4 lernt.
- s1 (Stanford, Januar 2025): 1.000 Reasoning-Ketten aus der Gemini-API von Google genügen, damit ein Qwen-Modell o1-preview in Mathematik übertrifft, nach 26 Minuten Training.
Ein guter Teil des Open-Source-Ökosystems von 2023 und 2024 ist so entstanden, auf Datensätzen voller Antworten von GPT-3.5 und GPT-4.
Auch die Großen bleiben davon nicht verschont. Im März 2023 berichtet The Information, dass sich das Team von Google Bard auf ChatGPT-Unterhaltungen gestützt habe und dass Jacob Devlin, Hauptautor von BERT, Google verlassen habe, nachdem er seine Führung gewarnt hatte. Google dementierte. Im Dezember 2023 lehnt Grok, das Modell von xAI, eine Anfrage unter Berufung auf „die Nutzungsrichtlinie von OpenAI“ ab. xAI spricht von verunreinigten Webdaten.
Dann kommt der Prozess Musk gegen OpenAI. Am 30. April 2026 fragt der Anwalt von OpenAI Elon Musk, ob xAI Destillation auf die Modelle von OpenAI angewandt habe, um Grok zu trainieren. Musk antwortet zunächst, dass alle KI-Unternehmen das täten, dann: „Teilweise“.
Das eigene Modell in das eines anderen zu destillieren, kommt ebenfalls vor. DeepSeek veröffentlichte im Januar 2025 destillierte Versionen von R1 auf Basis von Llama (Meta) und Qwen (Alibaba). Nichts Unerlaubtes: Diese Modelle sind Open Weights, und ihre Lizenz erlaubt es.
Was man den chinesischen Laboren wirklich vorwirft
Seit Januar 2025 reiht sich ein Vorwurf an den nächsten.
| Datum | Wer beschuldigt | Wer ist gemeint | Was behauptet wird |
|---|---|---|---|
| Jan. 2025 | OpenAI, Microsoft, David Sacks | DeepSeek | „Hinweise auf Destillation“ über die API von OpenAI, ohne Details |
| Feb. 2026 | OpenAI, in einem Memo an den Kongress | DeepSeek | Umgehung der Zugangsbeschränkungen über „Router von Drittanbietern“ |
| Feb. 2026 | Anthropic | DeepSeek, Moonshot, MiniMax | Mehr als 16 Millionen Austausche über rund 24.000 gefälschte Konten |
| April 2026 | Weißes Haus (OSTP) | „Hauptsächlich“ China | Kampagnen „im industriellen Maßstab“ mit Zehntausenden Konten |
| Juni 2026 | Anthropic, in einem Brief an den Senat | Alibaba | 28,8 Millionen Austausche über fast 25.000 Konten, „der größte bekannte Destillationsangriff“ |
| Juli 2026 | Michael Kratsios (Weißes Haus) | Moonshot | Kimi K3 soll aus Claude Fable destilliert worden sein |
| Sept. 2026 | NSA, CISA und FBI | DeepSeek, Moonshot, Alibaba, MiniMax, StepFun, Z.AI | Kampagnen „seit mindestens Ende 2024“, vermutlich mit Wissen der chinesischen Regierung |
| Okt. 2026 | Anthropic | Zhipu (Z.ai) | Destillation der Cyber-Fähigkeiten für sein Modell GLM-5.3 |
In keinem dieser Texte wird die Technik selbst infrage gestellt. Die Warnung von NSA, CISA und FBI sagt es in zwei Sätzen: Destillation sei „als legitime und nützliche Technik in der KI-Forschung anerkannt“, die chinesischen Labore betrieben jedoch „aggressive, böswillige und gezielte Aktivitäten im industriellen Maßstab“.
Der erste Vorwurf betrifft den Zugang. Anthropic verkauft Claude nicht in China: Nach eigener Darstellung verschaffen Wiederverkäufer dort über Proxys Zugang, und ein einziges Netzwerk verwaltete mehr als 20.000 Konten gleichzeitig. Wird ein Konto gesperrt, tritt ein anderes an seine Stelle.
Dann folgen die Nutzungsbedingungen, die bei OpenAI, Anthropic und Google allesamt verbieten, die Antworten zur Entwicklung eines Konkurrenzmodells zu nutzen. Dann der Maßstab: Dutzende Millionen Austausche, kein Vergleich zu den 52.000 Antworten eines Universitätsprojekts. Die Ankläger führen zudem ein Sicherheitsargument an: Ein auf diese Weise destilliertes Modell verliere die Schutzmechanismen des Originals.
Der US-Gesetzentwurf H.R. 8283, im April 2026 eingebracht, um solche „Modellextraktionsangriffe“ zu ahnden, folgt derselben Logik: Er nimmt Destillation, die durch die Nutzungsbedingungen erlaubt ist, ausdrücklich aus.
Das Wort „Destillation“ umfasst in Wirklichkeit fünf Praktiken:
| Praxis | Beispiele | Status |
|---|---|---|
| Die eigenen Modelle destillieren | Gemma, Llama 3.2, Gemini Flash, Ministral | Universell und offen eingeräumt |
| Die Destillation der eigenen Modelle verkaufen | OpenAI-API, Claude auf Amazon Bedrock | Kommerziell |
| Ein Open-Weight-Modell destillieren | DeepSeek-R1, destilliert auf Llama und Qwen | Erlaubt, je nach Lizenz |
| Ein geschlossenes Konkurrenzmodell über seine API destillieren | Alpaca, Vicuna, Orca, s1, xAI „teilweise“ | Verstößt gegen die Nutzungsbedingungen, selten verfolgt |
| Das im industriellen Maßstab mit gefälschten Konten tun | Die Vorwürfe gegen DeepSeek, Moonshot, MiniMax, Alibaba, Zhipu | Vorwürfe ohne öffentlichen Beweis |
Beweise, die in der Schublade bleiben
Die Zahlen von Anthropic und OpenAI sind präzise, aber sie stammen von den Anklägern. Kein technischer Beweis wurde veröffentlicht: weder im Januar 2025 noch zu Kimi K3 noch zu den „Wasserzeichen unserer amerikanischen Modelle“, die Finanzminister Scott Bessent nach eigenen Angaben in chinesischen Modellen gefunden hat.
Die öffentlichen Indizien sind schwach. Ende 2024 gab sich DeepSeek V3 manchmal als ChatGPT aus. Doch das Web ist inzwischen voller von ChatGPT generierter Texte, und Gemini hat sich auf Mandarin schon einmal als Chatbot von Baidu vorgestellt. DeepSeek wiederum erklärte in Nature, keine von OpenAI generierten Inhalte absichtlich in seine Daten aufgenommen zu haben.
Bleibt die Frage, was die Destillation wirklich gebracht hat. Bei Kimi K3 haben mehrere Fachleute Zweifel: Claude Fable 5 war erst seit rund zwei Wochen öffentlich verfügbar, und Nathan Lambert (Ai2) schätzt, dass die Destillation „bestenfalls in recht geringem Maße“ beigetragen habe. Lawfare merkt an, dass DeepSeek nur rund 150.000 Austausche mit Claude gehabt haben soll, ein unauffälliges Volumen, und dennoch eines der besten chinesischen Modelle bleibt.
Die Forschung bestätigt es: Destillation hat Grenzen. Eine Berkeley-Studie von 2023 zeigt, dass Modelle, die ChatGPT nachahmen, zwar seinen Stil gut kopieren, die Lücke beim Wissen aber „kaum oder gar nicht“ schließen. Die Autoren von DeepSeek-R1 schreiben selbst, dass es für ein Übertreffen des Lehrers ein besseres Basismodell und mehr Reinforcement Learning brauchen könnte. Destillation spart Zeit und Geld, reicht aber nicht aus, um einen Konkurrenten einzuholen.
Auch sind nicht alle Angriffe chinesisch. Im Februar 2026 meldete Google eine Kampagne mit mehr als 100.000 Anfragen, die Gemini dazu bringen sollte, sein Reasoning preiszugeben, ohne China zu nennen: Google schreibt diese Versuche vor allem privaten Unternehmen und Forschenden aus aller Welt zu.
Peking dreht den Vorwurf um
China dementiert von Anfang an. Im April 2026 spricht das chinesische Außenministerium von „völlig unbegründeten“ Vorwürfen und von „Verleumdung“.
Im Juli geht Peking in die Offensive. Das Handelsministerium behauptet, „zahlreiche amerikanische KI-Unternehmen“ hätten chinesische Modelle destilliert. Im September legt es nach, nach der Warnung der NSA: Destillation sei „eine gängige Methode“, bei der „Modelle voneinander lernen“, und die USA lieferten ein „Paradebeispiel für Doppelmoral“.
Peking nennt keine Namen und zeigt keine Beweise. Ende Juli hatte laut Reuters kein chinesisches Unternehmen einen amerikanischen Konkurrenten beschuldigt, seine geschlossenen Modelle destilliert zu haben. Amerikanische Unternehmen bauen allerdings durchaus auf chinesischen Modellen auf, nur offen: Cursor hat eingeräumt, dass sein Modell Composer 2 auf Kimi K2.5 von Moonshot beruht. Das ist ein Fine-Tuning eines Open-Weight-Modells und damit erlaubt.
Washington ist gespalten
Am 24. Juli 2026 veröffentlichen Nvidia, Microsoft, Meta, Mistral, Hugging Face, IBM und rund zwanzig weitere einen offenen Brief mit dem Titel „Open Weights and American AI Leadership“. Darin wird Washington aufgefordert, „legitime Techniken der Modellentwicklung nicht mit Zweckentfremdung zu verwechseln“. Destillation sei „eine weit verbreitete Technik“, die in „einer langen Tradition“ des Lernens aus bestehenden Technologien stehe.
OpenAI und Google gehören nicht zu den Erstunterzeichnern. Sie unterschreiben am folgenden Wochenende, wie Axios berichtet. In der Fassung vom 30. Juli zählt der Brief 235 Unterzeichner, darunter OpenAI, Google, Amazon und SpaceX, die Muttergesellschaft von xAI.
OpenAI, das DeepSeek seit Januar 2025 beschuldigt, unterzeichnet also einen Text, der Destillation verteidigt. SpaceX ebenfalls, drei Monate nach dem Eingeständnis von Musk. Anthropic ist das einzige große amerikanische Labor, das fehlt. Dario Amodei antwortet, er habe sich „nie für ein Verbot von Open-Weight-Modellen ausgesprochen“, fordert aber ein Vorgehen gegen Destillation im industriellen Maßstab.
Der Handel geht derweil weiter: Laut Financial Times lieferten OpenAI und Google KI-Dienste an singapurische Tochtergesellschaften von Alibaba, Baidu und Tencent.
Ist es illegal, ein Modell zu destillieren?
In der Regel verletzt die Destillation über die API einen Vertrag: die Nutzungsbedingungen. Das ist die Hauptwaffe der Labore, und sie ist begrenzt. Die Kosten einer Vertragsverletzung sind gering im Verhältnis zum abgeschöpften Wert, und es ist schwer vorstellbar, wie man ein Urteil gegen ein chinesisches Labor vollstrecken sollte.
Das Urheberrecht hilft ihnen nicht. In den USA ist ein Werk ohne menschlichen Urheber nicht schutzfähig: Das Copyright Office hat das im Januar 2025 bekräftigt, und der Supreme Court lehnte es im März 2026 ab, den Fall Thaler zu prüfen, der dies anfocht. Die Antworten, die die Labore als „gestohlen“ bezeichnen, gehören ihnen urheberrechtlich also nicht.
Der Schutz von Geschäftsgeheimnissen ist brüchig, da diese Antworten jedem Kontoinhaber zugänglich sind. Und seit dem Urteil Van Buren von 2021 fällt ein bloßer Verstoß gegen Nutzungsbedingungen nicht unter das US-Bundesgesetz gegen Computerbetrug. Für Lawfare bleibt der solideste Weg, gegen die gefälschten Konten und Proxys vorzugehen, nicht gegen die Destillation selbst: „Wenn jeder Verstoß gegen Nutzungsbedingungen als ‚Diebstahl‘ zählt, hat der Begriff keine Grenze mehr.“
In Europa betrachtet die Richtlinie von 2016 über den Schutz von Geschäftsgeheimnissen es als rechtmäßig, ein öffentlich verfügbar gemachtes Produkt zu beobachten oder zu testen, sofern kein Vertrag dies verbietet. Auch hier hängt alles an den Nutzungsbedingungen. Der AI Act verbietet Destillation nicht. Er verlangt, die Rechenleistung des Ursprungsmodells mitzuzählen, um festzustellen, ob ein destilliertes Modell die Schwellen für systemische Risiken überschreitet.
Die französische Kanzlei Haas Avocats hat ebenso wie die amerikanische Presse auf die Ironie hingewiesen: Die Labore, die das Kopieren anprangern, haben ihre Modelle mit dem Web trainiert, ohne die Urheber zu fragen. Anthropic zahlte 1,5 Milliarden Dollar, um eine Sammelklage wegen raubkopierter Bücher beizulegen, der größte Vergleich in der Geschichte des US-Urheberrechts. Die New York Times klagt weiterhin gegen OpenAI. Im Januar 2025 titelte 404 Media: „OpenAI wütend, dass DeepSeek womöglich all die Daten gestohlen hat, die OpenAI uns gestohlen hat“.
Lässt sich Destillation verhindern?
Die Labore haben zuerst das Wertvollste versteckt: das Reasoning. Schon im September 2024 beschloss OpenAI, die rohen Gedankenketten von o1 nicht anzuzeigen, und nannte unter seinen Gründen den „Wettbewerbsvorteil“. Google und Anthropic folgten und zeigen nur noch eine Zusammenfassung. Bei Anthropic bezahlt man alle Reasoning-Token, liest aber nur diese Zusammenfassung.
Dann folgen Erkennung und Sperren. Am 12. Oktober 2026 gibt Anthropic an, die von Destillierern abgeschöpften Daten um 90 bis 99 % reduziert zu haben, dank Klassifikatoren und Zehntausender gesperrter Konten, oft innerhalb von zwei Stunden. Das Unternehmen räumt auch ein, noch keinen „sehr ausgefeilten und hartnäckigen Versuch“ gesehen zu haben, seine Abwehr zu umgehen. Die Zahl wurde nicht unabhängig überprüft.
Die Forschung bleibt skeptisch. Im August 2026 zeigte ein Team, dass sich die verschlüsselten Reasoning-Ketten von Anthropic, OpenAI und Google im Klartext zurückgewinnen lassen, indem man sie in ein schwächeres Modell desselben Anbieters zurückspeist. Einfacher noch: Eine Kampagne lässt sich in Anfragen zerlegen, die einzeln betrachtet nichts Verdächtiges haben. Ben Thompson fasst es zusammen: Eine Destillation zu verhindern, die „buchstäblich darin besteht, die API abzufragen“, ist nahezu unmöglich.
Alle diese Schutzmaßnahmen stoßen auf dasselbe Problem: Je nützlicher ein Modell ist, desto leichter lässt es sich nachahmen.
Was das für ein Unternehmen bedeutet
Die meisten kleinen Modelle, die man auf eigenen Servern betreiben kann, sind destillierte Modelle: Gemma, Llama 3.2, Ministral, die destillierten Versionen von DeepSeek-R1. Das macht sie auf bescheidener Hardware nutzbar. Daher rühren auch ihre Grenzen: Sie übernehmen den Stil ihres Lehrers leichter als sein Wissen. Darüber schreiben wir in unserem Artikel über lokale LLMs.
Der Kampf gegen Destillation hat auch einen Preis für legitime Kunden. Das Reasoning der Modelle ist unsichtbar geworden: Man bezahlt es, ohne es lesen zu können, was das Debugging und die Prüfung eines Agenten oder einer Verarbeitungskette erschwert.
Häufige Fragen zur KI-Destillation
Was ist die Destillation eines KI-Modells?
Bei der Destillation wird ein „Schüler“-Modell darauf trainiert, die Antworten eines größeren oder fortgeschritteneren „Lehrer“-Modells nachzuahmen. Der Schüler übernimmt einen großen Teil der Fähigkeiten des Lehrers zu deutlich geringeren Kosten. Die Technik stammt aus dem Jahr 2006 und wurde 2015 von Geoffrey Hinton populär gemacht. Alle großen Labore nutzen sie, um die kleinen Versionen ihrer Modelle herzustellen, etwa Gemma bei Google oder Llama 3.2 bei Meta.
Ist die Destillation eines KI-Modells illegal?
Nein, die Technik ist legal. Die eigenen Modelle zu destillieren oder ein Open-Weight-Modell, dessen Lizenz es erlaubt, ist gängige Praxis. Das geschlossene Modell eines Konkurrenten über seine API zu destillieren, verstößt dagegen gegen die Nutzungsbedingungen von OpenAI, Anthropic oder Google, die es verbieten. Das ist eine Vertragsverletzung. Das Urheberrecht schützt die Antworten einer KI kaum, da sie keinen menschlichen Urheber haben.
Hat DeepSeek ChatGPT kopiert?
OpenAI behauptet das seit Januar 2025 und hat DeepSeek im Februar 2026 vor dem US-Kongress beschuldigt, seine Zugangsbeschränkungen umgangen zu haben, um seine Modelle zu destillieren. Auch Anthropic beschuldigt DeepSeek, mit mehr als 150.000 Austauschen mit Claude. Kein technischer Beweis wurde veröffentlicht. DeepSeek erklärt, keine von OpenAI generierten Inhalte absichtlich verwendet zu haben.
Was ist der Unterschied zwischen Destillation und einem Destillationsangriff?
Destillation ist eine legitime Trainingstechnik. Die Labore sprechen von einem „Destillationsangriff“, wenn jemand massenhaft die Antworten ihres Modells abschöpft, unter Verstoß gegen ihre Nutzungsbedingungen, oft mit gefälschten Konten und Proxys. Genau das werfen die amerikanischen Labore DeepSeek, Moonshot, MiniMax, Alibaba und Zhipu vor.
Ist ein destilliertes Modell so gut wie das Original?
Selten. Ein destilliertes Modell erzielt bei den Aufgaben, für die es trainiert wurde, oft sehr gute Ergebnisse, aber eine Berkeley-Studie von 2023 zeigt, dass Modelle, die ChatGPT nachahmen, vor allem seinen Stil kopieren und die Lücke beim Wissen kaum schließen. In der Praxis bleibt der Schüler durch den Lehrer und die Qualität seines eigenen Basismodells begrenzt.
Hat Elon Musk eingeräumt, dass xAI OpenAI destilliert hat?
Ja. Am 30. April 2026 wurde Elon Musk im Prozess gegen OpenAI unter Eid zur Destillation der Modelle von OpenAI für das Training von Grok befragt. Er antwortete, dass alle KI-Unternehmen das im Allgemeinen täten, und dann: „Teilweise“.
Die Branche stellt ihre kleinen Modelle per Destillation her. Amerikanische Universitäten und Microsoft haben die Modelle anderer destilliert, lange bevor DeepSeek von sich reden machte, und Musk hat unter Eid eingeräumt, dass xAI es getan hat. Die Vorwürfe gegen die chinesischen Labore betreffen den betrügerischen Zugang und den Maßstab. Vielleicht sind sie begründet. Wir haben keinen Grund anzunehmen, dass Anthropic seine 16 Millionen Austausche erfindet. Doch solange die Beweise bei den Anklägern bleiben, sind es Vorwürfe.
Was uns an dieser Geschichte am meisten auffällt, ist der Brief vom Juli. Am Wochenende nach seiner Veröffentlichung unterschreibt ihn OpenAI: Der erste Ankläger von DeepSeek schreibt schwarz auf weiß, dass Destillation eine legitime und verbreitete Technik ist. Im Grunde will niemand Destillation verbieten. Jeder will nur derjenige sein, der destilliert, nicht derjenige, der destilliert wird.


