Inférence IA : les 7 façons de faire tourner vos modèles en entreprise

« On achète des GPU et on héberge tout nous-mêmes. » « Non, on branche une API et on avance. »

Cette discussion est un grand classique des philosophies qui s'affrontent sur l'inférence IA en entreprise. Elle arrive tôt, en général au moment de chiffrer le budget. D'un côté ceux qui veulent l'IA à la maison : on achète les cartes, on installe les modèles, rien ne sort de l'entreprise. De l'autre ceux qui veulent consommer un service : une clé d'API ou un abonnement, on paie à l'usage, aucun matériel à gérer.

Les deux camps ont de bonnes raisons. Le souci, c'est qu'ils débattent de deux options sur sept.

Ce qu'ils se disputent porte un nom : l'inférence.

L'inférence, c'est quoi exactement

L'inférence, c'est le moment où un modèle d'IA répond à une question. Pas son apprentissage, qui a déjà eu lieu et qui a coûté des millions à quelqu'un d'autre : juste le fait de lui soumettre une requête et d'obtenir un texte en retour.

L'inférence revient tous les jours. Elle est proportionnelle à votre usage, aussi longtemps que votre service tourne. C'est elle qui détermine la vitesse, la facture et le niveau de confidentialité de votre projet.

Un token est une petite unité de texte, un mot ou un morceau de mot. Les fournisseurs facturent au million de tokens, en comptant séparément l'entrée et la sortie.

Les tokens d'entrée sont tout ce que vous envoyez au modèle : la question de l'utilisateur, mais aussi les consignes, l'historique de la conversation, les extraits de documents et la description des outils disponibles. Les tokens de sortie sont ce que le modèle génère en réponse. À volume égal, la sortie coûte en général trois à cinq fois plus cher, parce que chaque token produit demande un passage complet dans le modèle là où l'entrée est traitée d'un bloc.

Le rapport entre les deux dépend beaucoup de votre cas d'usage, et c'est lui qui façonne votre facture. Un assistant généraliste envoie peu et reçoit beaucoup : question courte, réponse développée. Une IA agentique fait l'inverse. À chaque étape, l'agent renvoie tout le contexte accumulé, les résultats de ses appels d'outils et l'historique de ses tentatives, pour produire parfois trois lignes de décision. L'entrée gonfle à chaque tour de boucle. C'est pour cette raison que les fournisseurs proposent des tarifs réduits sur la part du contexte réutilisée d'un appel à l'autre.

Reste la vitesse, mesurée en tokens par seconde. Pour du chat simple ou de la complétion, 100 tokens/s donnent une réponse qui paraît fluide. Pour de l'agentique, où le modèle enchaîne plusieurs appels avant d'afficher quoi que ce soit, il faut plutôt viser 500 tokens/s. Nous détaillons ces seuils dans notre article sur le LLM en local.

Si vous ne devez retenir qu'une chose

Le monde n'est pas binaire. Entre « tout acheter » et « tout consommer », le marché propose une panoplie de solutions valables, toutes avec de bonnes raisons d'exister, et la plupart des entreprises qui tournent en production en panachent plusieurs. Le bon choix dépend de votre contexte, pas d'une position de principe.

Deux façons raisonnables d'aborder le sujet. La première : ne pas vous prendre la tête, prendre une solution chez un fournisseur, et concentrer votre vigilance sur un seul point, sa métrique de facturation. Une offre facturée au message, à l'utilisateur ou au forfait reste prévisible. Une offre facturée au token, beaucoup moins.

La seconde : y passer quelques jours, parce que l'écart de coût entre les sept approches se compte en ordres de grandeur et non en pourcentages.

Dans les deux cas, ce que vous cherchez à éviter s'appelle le bill shock, et il arrive régulièrement. En juin 2025, Cursor bascule ses abonnements individuels vers une facturation à l'usage sans que ses utilisateurs comprennent que l'« illimité » annoncé ne couvrait qu'un seul modèle ; l'éditeur a publié ses excuses le 4 juillet et remboursé trois semaines de dépassements. Sur le dépôt de Gemini CLI, des développeurs persuadés de rester dans une limite de 1 000 requêtes par jour ont découvert des factures de 2 000, 6 400, parfois 10 000 dollars : leur clé d'API facturait au token, et les boucles de raisonnement du modèle en consommaient des centaines de millions.

Même racine dans les deux cas. L'utilisateur raisonnait en requêtes, le fournisseur facturait en tokens.

Quatre choses se jouent sur la couche d'inférence

Vos utilisateurs comparent avec ChatGPT

Ils arrivent avec une référence en tête, et cette référence s'appelle ChatGPT, Gemini ou Mistral. Ils ont pris l'habitude d'un texte qui se déroule instantanément. Si votre assistant interne met quinze secondes à démarrer sa réponse, personne ne dira que l'infrastructure est sous-dimensionnée. On dira que votre outil ne marche pas, et on retournera à celui d'avant.

Beaucoup de solutions B2B tournent à ce régime aujourd'hui. Le produit fait ce qu'il promet, la démo passe bien, et personne ne l'ouvre une deuxième fois.

Cette latence se joue presque entièrement au niveau de l'inférence, et c'est de loin le premier motif d'abandon que nous constatons sur les assistants internes. Un projet techniquement correct meurt très bien de quinze secondes de trop.

Personne ne tient 99,9 % tout seul

Les grands fournisseurs d'IA tournent autour de 99 à 99,5 % de disponibilité, soit plusieurs jours d'indisponibilité cumulés par an. Vos utilisateurs, eux, ont l'habitude des quatre neuf sur leurs outils bureautiques. L'écart se voit.

Nous avons publié les chiffres réels par fournisseur dans SLA IA entreprise. Le défaut de conception le plus fréquent que nous croisons n'a pas bougé depuis deux ans : un seul fournisseur, aucun repli.

Vous envoyez vos documents à quelqu'un

Faire de l'inférence, c'est transmettre à un tiers la question de votre utilisateur et les extraits de documents qui servent à y répondre. Contrats, notes internes, données clients. Mieux vaut savoir à qui, sous quel droit, avec quelle politique de rétention et quel engagement de non-entraînement.

Il n'y a pas de bonne réponse universelle ici, seulement un curseur à placer. Nous avons documenté le nôtre sur la page IA souveraine.

Le modèle en tête du classement coûte cher pour rien

Il n'est presque jamais celui qu'il vous faut. Pour classer un ticket, extraire un champ ou reformuler une réponse à partir de documents fournis, un modèle plus petit et plus rapide fait le travail.

Surtout, l'écart de prix n'a aucun rapport avec l'écart de capacité. Voici quatre offres du marché, placées selon leur coût moyen au million de tokens et leur indice d'intelligence :

Nuage de points comparant coût au million de tokens et indice d'intelligence pour quatre offres. DeepSeek V4 Flash servi par le français Umans atteint un indice de 50 pour 0,11 € au MTok, quand GPT-5.6 Sol d'OpenAI atteint 56 pour 7,35 €, et GPT-5.6 Luna 46 pour 0,29 €.

GPT-5.6 Sol coûte 7,35 € au MTok pour un indice « d'intelligence » de 56. DeepSeek V4 Flash servi par Umans coûte 0,11 € pour un indice de 50. Six points d'écart, un facteur 69 sur la facture.

Regardez ensuite GPT-5.6 Luna, en bas du nuage : près de trois fois le prix de l'offre Umans, pour un indice inférieur de quatre points. Payer plus ne garantit même pas d'obtenir mieux. Le classement vous dit ce qu'un modèle sait faire, jamais ce qu'il va vous coûter.

Un dernier point, et c'est celui que nous répétons le plus souvent : un benchmark classe les modèles sur des tâches génériques, jamais sur la vôtre. Un indice d'intelligence ne dit rien de la façon dont un modèle se comporte sur votre jargon métier, vos documents, votre langue ou le format de sortie que vous attendez. Prenez deux jours pour faire tourner trois ou quatre candidats sur un échantillon représentatif de vos cas réels, et comparez ce qui sort. C'est le seul classement qui compte pour vous, et il bouscule régulièrement l'ordre officiel.

Indice d'intelligence : Artificial Analysis, relevés d'août 2026. Coût moyen calculé sur un mélange de 40 % d'entrée en cache, 40 % d'entrée fraîche et 20 % de sortie, à raison de 1 € = 1,15 $. Les mentions max et high désignent le niveau d'effort de raisonnement du modèle.

Les sept approches

1. Acheter vos GPU et les exploiter vous-même

Vous achetez les cartes, vous les installez, vous déployez les modèles, vous maintenez l'ensemble. Maîtrise maximale : vos données ne sortent jamais, vous choisissez tout, et personne ne change vos conditions du jour au lendemain.

CAPEX maximal aussi. Pour un modèle vraiment rapide et capable, comptez six chiffres, plus les compétences à recruter pour opérer la machine. Votre infrastructure IA devient un projet à part entière, avec son budget et son équipe. Nous avons fait le calcul en détail dans RAG on premise : que peut-on faire avec 60 k€ ?.

À réserver aux contraintes réglementaires absolues, aux volumes massifs et stables, et aux entreprises qui ont déjà une équipe infrastructure. Ou à celles qui comptent revendre leur capacité quand elle est inactive, et nous y revenons à l'approche 4.

2. Louer des GPU dédiés chez un fournisseur cloud

Même architecture, même travail de déploiement, mais le matériel ne vous appartient plus. Le CAPEX devient de l'OPEX prévisible, électricité et refroidissement compris, et les pannes matérielles regardent votre fournisseur.

Méfiez-vous du prix affiché à l'heure. Un service disponible en continu tourne 730 heures par mois, donc ce prix horaire est en réalité un loyer mensuel. Un H100 chez Scaleway est à 2,73 € l'heure, ce qui passe très bien en réunion, et coûte près de 2 000 € par mois, 24 000 € par an, pour une seule carte. Chez Verda, opérateur finlandais dont les centres de données sont en Finlande et en Islande, le H100 SXM5 est à 3,25 $ l'heure, avec 8 % de remise sur un an et 25 % sur deux ans.

Le réflexe suivant, c'est de comparer avec l'achat. Un H100 PCIe se négocie entre 25 000 et 33 000 $ sur le marché, un H100 SXM5 entre 35 000 et 40 000 $. Louer une carte en continu coûte donc son prix d'achat en douze à dix-sept mois selon le modèle et le fournisseur. Et une carte suffit rarement : un serveur à huit H100, dimensionné pour servir correctement un gros modèle, tourne autour de 19 000 $ par mois, soit 228 000 $ par an, quand la machine équivalente s'achète au-delà de 350 000 $. Dix-huit mois de retour sur investissement.

Sur le papier, c'est excellent. Sauf que la comparaison oppose une carte à un service. Le prix d'achat n'inclut ni le data center, ni l'électricité, ni le refroidissement, ni le réseau, ni les équipes qui exploitent l'ensemble. Et l'actif se déprécie vite : un H100 d'occasion se revend 60 à 70 % du neuf pendant que les B200 et B300 arrivent et tirent les prix de location vers le bas. Vous amortissez sur trois ans un matériel dont le loyer équivalent aura baissé avant la fin de la période.

À cette échelle, la location ne fait pas disparaître les six chiffres de l'approche 1 : elle les transforme en loyer annuel.

3. Ne monter les GPU que lorsque vous en avez besoin

Vous allumez la machine, ou plutôt un container dans la plupart des cas, vous faites le travail, vous l'éteignez. Certains fournisseurs facturent par tranche de durée utilisée, dix minutes chez Verda par exemple, ce qui veut dire qu'un traitement bouclé en 45 minutes en coûte 50. Beaucoup proposent aussi des tarifs spot, sur capacité disponible, à moitié prix.

Deux heures de traitement par nuit font une soixantaine d'heures par mois, soit environ 98 $ en spot, là où la même carte tenue en continu coûte 2 370 $. Facteur vingt-quatre. C'est la meilleure affaire du marché pour du traitement de fond : réindexation documentaire, calcul d'embeddings, classification en masse, extraction sur un stock de PDF.

Pour un service ouvert en journée, oubliez. Démarrer une machine et charger un modèle prend des minutes, et une instance spot peut vous être reprise en cours de route. Personne n'attend cinq minutes que son assistant se réveille.

4. Louer de la capacité excédentaire à ceux qui en ont trop

Ceux qui ont choisi l'approche 1 ont des GPU inactifs une partie du temps. Un marché s'est monté pour revendre ces heures creuses, souvent bien en dessous des prix des grands fournisseurs, puisque le matériel est déjà amorti de toute façon.

Cette catégorie couvre deux réalités très différentes. À une extrémité, des acteurs qui en ont fait un service d'entreprise : capacité réservée par contrat, engagement de disponibilité, opérateur identifié, matériel hébergé dans des data centers connus. Vous y accédez comme chez n'importe quel fournisseur cloud, avec une facture et un interlocuteur, mais à un tarif tiré vers le bas par le fait que les cartes existaient déjà.

À l'autre extrémité, le marché de particulier à particulier. Darkbloom, issu d'Eigen Labs, fait tourner de l'inférence sur des Mac Apple Silicon inactifs, avec un chiffrement conçu pour que le propriétaire de la machine ne puisse pas lire ce qui y transite. Le projet est encore expérimental et nous n'y mettrions pas un service critique aujourd'hui. L'idée tient debout : des dizaines de millions de Mac récents dorment une bonne partie de la journée avec beaucoup de mémoire disponible.

Dans les deux cas, regardez qui opère la machine, ce qu'il peut voir, et quel engagement de disponibilité il signe. C'est ce qui sépare une bonne affaire d'un pari.

5. Passer par un fournisseur d'inférence

Plus aucune machine à gérer. Vous appelez une API, vous payez au token, et quelqu'un d'autre garde des GPU chauds en permanence pour vous.

Deux familles cohabitent. Les pure players de l'inférence servent des modèles open weights et se battent sur la vitesse et le prix : Cerebras, Groq, DeepInfra, Nebius. Les acteurs grand public, OpenAI, Anthropic, Google, Mistral, servent leurs propres modèles.

La nuance se voit sur la facture. À qualité comparable sur beaucoup de tâches, les premiers sont sensiblement moins chers, parce que les seconds facturent aussi leur notoriété et l'exclusivité de leurs modèles. Comme un même modèle ouvert tourne chez une dizaine de fournisseurs, vous pouvez changer d'avis sans retoucher vos prompts.

Choisissez un acteur qui publie un vrai engagement de service, pas seulement une page de statut. Et prévoyez un repli dès le premier jour.

6. Mettre une passerelle devant plusieurs fournisseurs

Vous en branchez plusieurs derrière une couche unique, qui mesure leur santé, arbitre selon la vitesse et le prix, et bascule automatiquement quand l'un décroche. C'est ce qu'on appelle une passerelle multi-fournisseurs, ou AI gateway.

Aucun fournisseur n'atteint seul les 99,9 %. Mis bout à bout derrière une passerelle qui teste et bascule, on y arrive. Nous avons consacré un article entier au sujet, chiffres et produits du marché compris : SLA IA entreprise.

7. Laisser votre plateforme s'en charger

Vous achetez un produit d'IA d'entreprise et l'inférence devient le problème de quelqu'un d'autre. Aucun GPU à exploiter, pas de passerelle à construire, et la veille sur les modèles ne vous concerne plus.

En échange, vous héritez des choix de votre fournisseur IA. D'où la question à lui poser avant de signer : est-il capable de décrire sa chaîne d'inférence ? Quels fournisseurs, dans quelle juridiction, avec quel repli, sous quel engagement de non-entraînement. Celui qui reste vague sur cette partie vous demande de lui faire confiance sur le maillon le plus sensible.

Les sept approches d'inférence IA comparées

Lecture : le vert est favorable, le rouge défavorable. Le signe ± marque un critère qui dépend du fournisseur retenu.

En pratique, une entreprise combine souvent plusieurs solutions

Une seule approche peut très bien suffire, et c'est souvent le cas quand le périmètre est clair et les usages homogènes. Mais dès que les cas d'usage se diversifient, les entreprises finissent régulièrement avec deux ou trois régimes différents. Dans un cas comme dans l'autre, partez de votre contrainte la plus dure et laissez le reste s'organiser autour.

Une contrainte réglementaire ne porte presque jamais sur la totalité de votre périmètre. Isolez le cas d'usage réellement sensible sur une infrastructure dédiée, laissez le reste sur du mutualisé. C'est souvent ce découpage qui débloque un budget, parce qu'il ramène l'exigence forte à la part du projet qu'elle concerne vraiment.

Quand c'est la latence qui commande, elle ne commande que l'interactif. Une entreprise que nous accompagnons fait tourner sa réindexation documentaire nocturne sur du GPU à la demande, pour quelques dizaines d'euros par mois, et sert son assistant en journée via un fournisseur d'inférence rapide. Deux régimes de coût, un seul projet.

Et si c'est le budget, commencez par l'approche 5 ou 7, sans hésiter. Six mois d'usage réel vous diront si l'internalisation a le moindre sens. Elle est presque toujours plus chère que prévu, et personne ne s'en rend compte avant d'avoir les chiffres sous les yeux.

Pour fixer les ordres de grandeur, voici le même H100 vu sous trois angles :

Le matériel est identique dans les trois cas, seul le régime d'usage change.

Combien de temps faut-il louer avant d'avoir dépensé le prix de la carte ? En continu, à 2 000 € par mois, il vous faut treize mois pour atteindre les 26 000 € d'achat. Sur le régime à la demande, à 85 € par mois, il vous en faut plus de vingt-cinq ans.

C'est là que se joue la décision, et pas ailleurs. L'achat ne devient intéressant que si vous savez que la machine tournera vraiment en continu, pendant plusieurs années, sur des volumes que vous avez déjà mesurés.

Chez Ask This Guy

Aujourd'hui, nos clients sont dans le cas 7. Ils n'opèrent aucun GPU, ne construisent aucune passerelle, et l'inférence ne figure pas à leur budget.

Ça ne tient que parce que nous panachons nous-mêmes les approches 2, 3 et 5. Nous montons nos propres infrastructures GPU chez Verda, en Finlande et en Islande, où nous déployons et opérons certains modèles, et nous consommons en parallèle des fournisseurs d'inférence sélectionnés derrière notre passerelle de fournisseurs IA. Vous placez ensuite le curseur, politique UE uniquement ou monde entier, modifiable à tout moment depuis la console. Tout est public dans notre approche de l'IA souveraine.

Si nous écrivons cet article, c'est que les arbitrages décrits ici, nous les avons payés.

Bring Your Own AI : branchez votre propre inférence

Le cas 7 ne devrait pas être une impasse. Si vous avez déjà des GPU, un contrat chez un fournisseur d'inférence ou votre propre passerelle, vous devez pouvoir les brancher plutôt que de les mettre au rebut.

C'est ce que permet notre mode Bring Your Own AI : connecter vos propres modèles, vos fournisseurs ou vos points d'inférence à la plateforme. Il est disponible aujourd'hui sur demande, et sera bientôt proposé en standard.

Concrètement, les six autres approches restent ouvertes. Des GPU achetés l'an dernier se branchent. Un tarif négocié chez un fournisseur d'inférence se conserve. Et si vous préférez démarrer clé en main pour internaliser dans dix-huit mois, une fois vos volumes réellement connus, vous n'aurez pas à changer d'outil en route.

Questions fréquentes sur l'inférence IA

Qu'est-ce que l'inférence en IA ?

L'inférence est la phase où un modèle d'intelligence artificielle déjà entraîné traite une requête et produit une réponse. Elle s'oppose à l'entraînement, qui est la phase d'apprentissage du modèle. Pour une entreprise, l'entraînement est un coût rare et souvent inexistant, alors que l'inférence est un coût récurrent proportionnel à l'usage réel du service.

Combien coûte l'inférence d'un LLM en entreprise ?

Le coût d'une inférence LLM dépend entièrement de l'approche retenue. En location de GPU dédié, un H100 tenu en continu revient à environ 2 000 à 2 400 € par mois, soit près de 24 000 € par an pour une seule carte, et un serveur à huit cartes dépasse 200 000 € par an. En passant par un fournisseur d'inférence facturé au token, un assistant interne pour quelques centaines d'utilisateurs se chiffre le plus souvent en centaines d'euros par mois. L'écart entre les deux modèles justifie de mesurer ses volumes réels avant d'internaliser.

Faut-il acheter des GPU pour faire de l'IA en entreprise ?

Dans la grande majorité des cas, non. L'achat de GPU se justifie quand une contrainte réglementaire interdit toute sortie des données, quand le volume est massif et stable, et quand une équipe infrastructure existe déjà pour exploiter le matériel. En dehors de ces conditions, la location ou le recours à un fournisseur d'inférence coûte moins cher et se met en place en quelques minutes plutôt qu'en quelques mois.

Qu'est-ce qu'une infrastructure IA ?

Une infrastructure IA regroupe tout ce qui permet d'exécuter des modèles d'intelligence artificielle : les GPU, les serveurs qui les hébergent, le réseau, le stockage, et la couche logicielle qui sert les modèles. En entreprise, la question n'est pas seulement de savoir quels composants choisir, mais qui les exploite : vous, un fournisseur cloud, un fournisseur d'inférence, ou l'éditeur de votre plateforme.

Quelle différence entre un fournisseur d'inférence et une API gateway ?

Un fournisseur d'inférence exécute lui-même les modèles sur ses propres GPU et vous facture les tokens consommés. Une API gateway, ou passerelle multi-fournisseurs, n'exécute aucun modèle : elle se place devant plusieurs fournisseurs, mesure leur disponibilité et leur vitesse, et bascule automatiquement de l'un à l'autre. On utilise généralement les deux ensemble, la passerelle servant à obtenir un niveau de service qu'aucun fournisseur n'atteint seul.

---

Conclusion

Votre projet d'IA vous obligera à trancher la question de l'inférence, et probablement dès le chiffrage du budget. Vous pouvez bâtir votre propre infrastructure IA, tout déléguer, ou assembler quelque chose entre les deux.

Les projets qui tiennent en production ne sont pas ceux qui ont choisi le bon camp. Ce sont ceux qui savaient qu'il y en avait sept.

Si vous préparez un projet d'IA et que vous voulez confronter votre cas d'usage à ces arbitrages : réservez une démo.