Distillation IA : la Chine accusée, mais qui ne distille pas ?

Depuis janvier 2025, la distillation est devenue l'accusation favorite de la Silicon Valley contre la Chine. OpenAI a commencé avec DeepSeek. Anthropic a suivi : plus de 16 millions d'échanges avec Claude, via 24 000 faux comptes, attribués à DeepSeek, Moonshot et MiniMax. Puis la Maison-Blanche, puis un avis commun de la NSA, de la CISA et du FBI qui nomme six labos chinois.

Ces mêmes textes disent pourtant tous que la distillation est une technique « largement utilisée et légitime ». Le 30 avril 2026, interrogé sous serment pour savoir si xAI avait distillé les modèles d'OpenAI pour entraîner Grok, Elon Musk a répondu : « En partie ».

Alors, qui distille ? Tout le monde, et tout le monde le dit. Les labos chinois sont accusés d'autre chose : avoir distillé des modèles qu'on ne leur vend pas, avec des faux comptes et des proxys, à l'échelle industrielle. Sur ce point précis, aucune preuve n'a été rendue publique.

Qu'est-ce que la distillation en IA ?

Distiller un modèle d'IA, c'est entraîner un modèle « élève » à imiter les réponses d'un modèle « enseignant », plus gros ou plus avancé. L'élève récupère une bonne partie des capacités de l'enseignant pour un coût d'entraînement et d'utilisation bien plus faible.

L'idée date de 2006. Une équipe de Cornell montre alors qu'un petit réseau de neurones peut imiter un ensemble de centaines de classifieurs en étant « mille fois plus petit et plus rapide », pour des performances presque identiques (Bucilă, Caruana, Niculescu-Mizil). Le mot « distillation » est popularisé en 2015 par Geoffrey Hinton, Oriol Vinyals et Jeff Dean (arXiv).

On peut distiller de deux façons.

La distillation interne. L'élève apprend sur les probabilités complètes calculées par l'enseignant, et pas seulement sur sa réponse finale. Ces probabilités contiennent beaucoup d'information : l'exemple de l'article de 2015 est qu'une BMW ressemble davantage à un camion-poubelle qu'à une carotte. Comme il faut accéder à l'intérieur du modèle, un labo ne peut le faire qu'avec les siens.

La distillation par les réponses. On n'a que le texte produit par le modèle, en général via son API. On lui envoie des centaines de milliers de questions, on récupère les réponses et on entraîne l'élève dessus. C'est ce mode qui est au cœur des accusations. Depuis l'arrivée des modèles qui « réfléchissent » avant de répondre (o1, DeepSeek-R1, Claude), la donnée la plus recherchée est le raisonnement lui-même.

C'est redoutablement efficace. DeepSeek a fine-tuné des modèles Qwen et Llama sur 800 000 réponses de son modèle R1. Sa version 32B distillée obtient 72,6 % au concours de mathématiques AIME 2024, contre 47,0 % pour le même modèle entraîné par apprentissage par renforcement (papier DeepSeek-R1).

Tous les labos distillent leurs propres modèles

Le petit modèle d'une gamme est très souvent un élève du grand. Les labos ne s'en cachent pas : c'est écrit dans leurs rapports techniques.

OpenAI et Anthropic ne détaillent pas lesquels de leurs modèles sont distillés. En revanche, ils vendent la distillation. Depuis octobre 2024, l'API d'OpenAI permet d'utiliser les réponses de GPT-4o ou d'o1 pour entraîner GPT-4o mini (OpenAI). Depuis décembre 2024, Anthropic propose sur Amazon Bedrock de distiller Claude 3.5 Sonnet dans Claude 3 Haiku (Anthropic). Seule condition : l'élève reste chez eux.

Anthropic le résume elle-même, dans le billet où elle accuse les labos chinois : les labos de pointe « distillent couramment leurs propres modèles pour en tirer des versions plus petites et moins chères » (Anthropic, février 2026).

Distiller les modèles des autres : une vieille habitude américaine

L'étape suivante, distiller le modèle d'un concurrent par son API, n'a pas été inventée en Chine. En 2023, les universités américaines l'ont pratiquée au grand jour.

• Alpaca (Stanford, mars 2023) : le modèle LLaMA de Meta, entraîné sur 52 000 réponses d'un modèle d'OpenAI, pour moins de 600 dollars au total. Stanford reconnaît que les conditions d'utilisation d'OpenAI interdisent de développer des modèles concurrents, et réserve donc Alpaca à la recherche (Stanford).
• Vicuna (LMSYS, mars 2023) : 70 000 conversations ChatGPT partagées par des internautes, environ 300 dollars d'entraînement (LMSYS).
• Koala (Berkeley, avril 2023) : même recette, même conclusion, on peut tirer un bon assistant des données d'un modèle plus puissant (Berkeley).
• Orca (Microsoft Research, juin 2023) : un modèle de 13 milliards de paramètres qui apprend des explications pas à pas de GPT-4 (arXiv).
• s1 (Stanford, janvier 2025) : 1 000 raisonnements produits par l'API Gemini de Google suffisent pour qu'un modèle Qwen dépasse o1-preview en mathématiques, après 26 minutes d'entraînement (arXiv).

Une bonne partie de l'écosystème open source de 2023 et 2024 s'est construite ainsi, sur des jeux de données remplis de réponses de GPT-3.5 et GPT-4.

Les grands acteurs n'y échappent pas. En mars 2023, The Information rapporte que l'équipe de Google Bard s'appuyait sur des conversations ChatGPT et que Jacob Devlin, l'auteur principal de BERT, avait quitté Google après avoir alerté sa direction. Google a démenti (9to5Google). En décembre 2023, Grok, le modèle de xAI, refuse une demande en invoquant « la politique d'utilisation d'OpenAI ». xAI parle de données du web contaminées (Futurism).

Puis vient le procès Musk contre OpenAI. Le 30 avril 2026, l'avocat d'OpenAI demande à Elon Musk si xAI a utilisé la distillation sur les modèles d'OpenAI pour entraîner Grok. Musk répond d'abord que toutes les entreprises d'IA le font, puis : « En partie » (TechCrunch).

Distiller son modèle dans celui d'un autre se fait aussi. DeepSeek a publié en janvier 2025 des versions distillées de R1 sur Llama (Meta) et Qwen (Alibaba). Rien d'illicite : ces modèles sont open weight et leur licence l'autorise.

Ce qu'on reproche vraiment aux labos chinois

Depuis janvier 2025, les accusations se sont enchaînées.

Dans tous ces textes, la technique n'est pas mise en cause. L'avis de la NSA, de la CISA et du FBI le dit en deux phrases : la distillation est « reconnue comme une technique légitime et utile dans la recherche en IA », mais les labos chinois mèneraient des activités « agressives, malveillantes et ciblées, à l'échelle industrielle ».

Le premier reproche porte sur l'accès. Anthropic ne vend pas Claude en Chine : selon elle, des revendeurs y donnent accès par des proxys, et un seul réseau gérait plus de 20 000 comptes à la fois. Quand un compte est banni, un autre prend sa place.

Viennent ensuite les conditions d'utilisation, qui chez OpenAI, Anthropic et Google interdisent toutes d'utiliser les réponses pour développer un modèle concurrent. Puis l'échelle : des dizaines de millions d'échanges, rien à voir avec les 52 000 réponses d'un projet universitaire. Les accusateurs ajoutent un argument de sécurité : un modèle distillé de cette façon perdrait les garde-fous de l'original.

La proposition de loi américaine déposée en avril 2026 pour sanctionner ces « attaques par extraction de modèle » suit la même logique : elle exclut expressément la distillation autorisée par les conditions d'utilisation (texte H.R. 8283).

Le mot « distillation » recouvre en fait cinq pratiques :

Des preuves qui restent dans les tiroirs

Les chiffres d'Anthropic et d'OpenAI sont précis, mais ils viennent des accusateurs. Aucune preuve technique n'a été publiée : ni en janvier 2025, ni pour Kimi K3, ni pour les « filigranes de nos modèles américains » que le secrétaire au Trésor Scott Bessent dit avoir trouvés dans des modèles chinois (GovInfoSecurity).

Les indices publics sont faibles. Fin 2024, DeepSeek V3 se présentait parfois comme ChatGPT. Mais le web est désormais plein de textes générés par ChatGPT, et Gemini s'est déjà présenté en mandarin comme le chatbot de Baidu (TechCrunch). DeepSeek, de son côté, a affirmé dans Nature ne pas avoir inclus délibérément de contenus générés par OpenAI dans ses données.

Reste à savoir ce que la distillation a vraiment apporté. Pour Kimi K3, plusieurs experts doutent : Claude Fable 5 n'était public que depuis une quinzaine de jours, et Nathan Lambert (Ai2) estime que la distillation a contribué « au mieux dans une mesure assez faible » (Implicator). Lawfare note que DeepSeek n'aurait eu qu'environ 150 000 échanges avec Claude, un volume banal, et reste pourtant l'un des meilleurs modèles chinois (Lawfare).

La recherche le confirme : la distillation a ses limites. Une étude de Berkeley de 2023 montre que des modèles qui imitent ChatGPT copient bien son style, mais comblent « peu ou pas » l'écart sur les connaissances (arXiv). Les auteurs de DeepSeek-R1 écrivent eux-mêmes que dépasser l'enseignant pourrait demander un meilleur modèle de base et davantage d'apprentissage par renforcement. La distillation fait gagner du temps et de l'argent, mais elle ne suffit pas à rattraper un concurrent.

Les attaques ne sont pas non plus toutes chinoises. En février 2026, Google a signalé une campagne de plus de 100 000 requêtes visant à faire révéler son raisonnement à Gemini, sans nommer la Chine : il attribue ces tentatives surtout à des entreprises privées et à des chercheurs du monde entier (NBC News).

Pékin retourne l'accusation

La Chine dément depuis le début. En avril 2026, son ministère des Affaires étrangères parle d'accusations « totalement infondées » et d'une « calomnie » (WION).

En juillet, Pékin passe à l'offensive. Le ministère du Commerce affirme que « de nombreuses entreprises américaines d'IA » ont distillé des modèles chinois. Il recommence en septembre, après l'avis de la NSA : la distillation serait « une méthode courante » où « les modèles apprennent les uns des autres », et les États-Unis offriraient un « cas d'école de deux poids, deux mesures » (The Next Web).

Pékin ne cite aucun nom et ne montre aucune preuve. Fin juillet, selon Reuters, aucune entreprise chinoise n'a accusé un concurrent américain d'avoir distillé ses modèles fermés (Reuters via Gulf Times). Les entreprises américaines bâtissent pourtant bien sur des modèles chinois, mais ouvertement : Cursor a reconnu que son modèle Composer 2 reposait sur Kimi K2.5 de Moonshot. C'est un fine-tuning d'un modèle open weight, donc licite.

Washington est divisé

Le 24 juillet 2026, Nvidia, Microsoft, Meta, Mistral, Hugging Face, IBM et une vingtaine d'autres publient une lettre ouverte, « Open Weights and American AI Leadership ». Elle demande à Washington de ne pas « confondre des techniques légitimes de développement de modèles avec du détournement ». La distillation, y lit-on, est « une technique largement utilisée » qui s'inscrit dans « une longue tradition » d'apprentissage à partir des technologies existantes (PDF de la lettre).

OpenAI et Google ne figurent pas parmi les premiers signataires. Ils signent le week-end suivant, selon Axios (Let's Data Science). Dans la version du 30 juillet, la lettre compte 235 signataires, dont OpenAI, Google, Amazon et SpaceX, la maison mère de xAI.

OpenAI, qui accuse DeepSeek depuis janvier 2025, signe donc un texte qui défend la distillation. SpaceX aussi, trois mois après l'aveu de Musk. Anthropic est le seul grand labo américain absent. Dario Amodei répond qu'il n'a « jamais plaidé pour une interdiction des modèles open weight », mais demande une répression de la distillation à l'échelle industrielle.

Le commerce, lui, continue : selon le Financial Times, OpenAI et Google fournissaient des services d'IA à des filiales singapouriennes d'Alibaba, Baidu et Tencent (Daily Guardian).

Est-ce illégal de distiller un modèle ?

En général, distiller par l'API viole un contrat : les conditions d'utilisation. C'est l'arme principale des labos, et elle est limitée. Le coût d'une violation de contrat est faible au regard de la valeur extraite, et on voit mal comment faire exécuter un jugement contre un labo chinois.

Le droit d'auteur ne les aide pas. Aux États-Unis, une œuvre sans auteur humain n'est pas protégeable : le Copyright Office l'a rappelé en janvier 2025 et la Cour suprême a refusé en mars 2026 d'examiner l'affaire Thaler, qui le contestait (SCOTUSblog). Les réponses que les labos disent « volées » ne leur appartiennent donc pas au sens du droit d'auteur.

Le secret des affaires est fragile, puisque ces réponses sont accessibles à tout titulaire de compte. Et depuis l'arrêt Van Buren de 2021, une simple violation des conditions d'utilisation ne tombe pas sous le coup de la loi fédérale sur la fraude informatique. Pour Lawfare, la voie la plus solide reste de poursuivre les faux comptes et les proxys, pas la distillation elle-même : « si chaque violation des conditions d'utilisation compte comme un "vol", le concept n'a plus de limite ».

En Europe, la directive de 2016 sur le secret des affaires considère comme licite le fait d'observer ou de tester un produit mis à la disposition du public, sauf si un contrat l'interdit (texte). Là encore, tout repose sur les conditions d'utilisation. L'AI Act, lui, n'interdit pas la distillation. Il impose de compter la puissance de calcul du modèle d'origine pour savoir si un modèle distillé dépasse les seuils de risque systémique.

Le cabinet Haas Avocats comme la presse américaine ont relevé l'ironie : les labos qui dénoncent la copie ont entraîné leurs modèles sur le web sans demander l'avis des auteurs. Anthropic a payé 1,5 milliard de dollars pour solder une action collective sur des livres piratés, le plus gros règlement de l'histoire du droit d'auteur américain (Jurist). Le New York Times poursuit toujours OpenAI. En janvier 2025, 404 Media titrait : « OpenAI furieux que DeepSeek ait pu voler toutes les données qu'OpenAI nous a volées » (404 Media).

Peut-on empêcher la distillation ?

Les labos ont d'abord caché ce qui valait le plus cher : le raisonnement. Dès septembre 2024, OpenAI a décidé de ne pas montrer les chaînes de pensée brutes d'o1, en citant parmi ses raisons « l'avantage concurrentiel » (Simon Willison). Google et Anthropic ont suivi en n'affichant plus qu'un résumé. Chez Anthropic, on paie tous les tokens de réflexion, mais on ne lit que ce résumé (documentation Claude).

Viennent ensuite la détection et les bannissements. Le 12 octobre 2026, Anthropic affirme avoir réduit de 90 à 99 % les données récoltées par les distillateurs, grâce à des classifieurs et à des dizaines de milliers de comptes bannis, souvent dans les deux heures (Anthropic). Elle reconnaît aussi n'avoir pas encore vu « de tentative très sophistiquée et persistante » de contourner ses défenses. Le chiffre n'a pas été vérifié de façon indépendante.

Les chercheurs restent sceptiques. En août 2026, une équipe a montré qu'on pouvait récupérer en clair les raisonnements chiffrés d'Anthropic, d'OpenAI et de Google en les réinjectant dans un modèle plus faible du même fournisseur (arXiv). Plus simplement, une campagne peut être découpée en requêtes qui, prises une à une, n'ont rien de suspect (Scientific American). Ben Thompson le résume : empêcher une distillation qui consiste « littéralement à interroger l'API » est quasi impossible (Stratechery).

Toutes ces protections butent sur le même problème : plus un modèle est utile, plus il est facile à imiter.

Ce que ça change pour une entreprise

La plupart des petits modèles qu'on peut faire tourner sur ses propres serveurs sont des modèles distillés : Gemma, Llama 3.2, Ministral, les versions distillées de DeepSeek-R1. C'est ce qui les rend utilisables sur du matériel modeste. Leurs limites viennent de là aussi : ils héritent du style de leur enseignant plus facilement que de ses connaissances. Nous en parlons dans notre article sur les LLM en local.

La lutte contre la distillation a aussi un coût pour les clients légitimes. Le raisonnement des modèles est devenu invisible : on le paie sans pouvoir le lire, ce qui complique le débogage et l'audit d'un agent ou d'une chaîne de traitement.

Questions fréquentes sur la distillation IA

Qu'est-ce que la distillation d'un modèle d'IA ?

La distillation consiste à entraîner un modèle « élève » à imiter les réponses d'un modèle « enseignant », plus gros ou plus avancé. L'élève récupère une large part des capacités de l'enseignant pour un coût bien plus faible. La technique date de 2006 et a été popularisée en 2015 par Geoffrey Hinton. Tous les grands labos l'utilisent pour produire les petites versions de leurs modèles, comme Gemma chez Google ou Llama 3.2 chez Meta.

La distillation d'un modèle d'IA est-elle illégale ?

Non, la technique est légale. Distiller ses propres modèles, ou un modèle open weight dont la licence le permet, est une pratique courante. Distiller le modèle fermé d'un concurrent par son API viole en revanche les conditions d'utilisation d'OpenAI, d'Anthropic ou de Google, qui l'interdisent. C'est une violation de contrat. Le droit d'auteur protège mal les réponses d'une IA, qui n'ont pas d'auteur humain.

DeepSeek a-t-il copié ChatGPT ?

OpenAI l'affirme depuis janvier 2025, et a accusé DeepSeek devant le Congrès américain en février 2026 d'avoir contourné ses restrictions d'accès pour distiller ses modèles. Anthropic accuse aussi DeepSeek, avec plus de 150 000 échanges avec Claude. Aucune preuve technique n'a été rendue publique. DeepSeek affirme ne pas avoir utilisé délibérément de contenus générés par OpenAI.

Quelle différence entre distillation et attaque par distillation ?

La distillation est une technique d'entraînement légitime. Les labos parlent d'« attaque par distillation » quand quelqu'un récolte en masse les réponses de leur modèle, en violation de leurs conditions d'utilisation, souvent avec des faux comptes et des proxys. C'est ce que les labos américains reprochent à DeepSeek, Moonshot, MiniMax, Alibaba et Zhipu.

Un modèle distillé est-il aussi bon que l'original ?

Rarement. Un modèle distillé atteint souvent de très bons résultats sur les tâches pour lesquelles il a été entraîné, mais une étude de Berkeley de 2023 montre que les modèles qui imitent ChatGPT copient surtout son style et comblent peu l'écart sur les connaissances. En pratique, l'élève reste limité par l'enseignant et par la qualité de son propre modèle de base.

Elon Musk a-t-il reconnu que xAI avait distillé OpenAI ?

Oui. Le 30 avril 2026, lors du procès qui l'opposait à OpenAI, Elon Musk a été interrogé sous serment sur l'utilisation de la distillation des modèles d'OpenAI pour entraîner Grok. Il a répondu que toutes les entreprises d'IA le font en général, puis : « En partie ».

---

L'industrie fabrique ses petits modèles par distillation. Les universités américaines et Microsoft ont distillé les modèles des autres bien avant que DeepSeek fasse parler de lui, et Musk a reconnu sous serment que xAI l'avait fait. Les accusations contre les labos chinois portent sur l'accès frauduleux et l'échelle. Elles sont peut-être fondées. Je n'ai aucune raison de penser qu'Anthropic invente ses 16 millions d'échanges. Mais tant que les preuves restent chez les accusateurs, ce sont des accusations.

Ce qui me frappe le plus dans cette histoire, c'est la lettre de juillet. Le week-end qui suit sa publication, OpenAI la signe : le premier accusateur de DeepSeek écrit noir sur blanc que la distillation est une technique légitime et répandue. Au fond, personne ne veut interdire la distillation. Chacun veut seulement être celui qui distille, pas celui qu'on distille.