LLM local en la empresa: lo que permiten de verdad 60.000 €

LLM local en la empresa: lo que permiten de verdad 60.000 €

LLM local y RAG on premise en 2026: precio de las GPU, memoria por modelo, coste total y umbral de rentabilidad frente al mismo modelo por API, en cifras.

IA
Actualizado el
14 min de lectura

Un LLM local (o LLM on premise) es un modelo de lenguaje que funciona en un hardware que la empresa posee o controla, dentro de su propia red, sin ninguna API de terceros en el camino de los datos. En concreto, se trata de descargar un modelo open weight, servirlo en tus GPU y conectar a él tus aplicaciones.

La promesa es el control: tus datos se quedan en casa y dejas de depender de un proveedor. Para un proyecto de IA empresarial (agentes, RAG, asistentes internos), la opción es atractiva, a veces imprescindible.

Pero la infraestructura de IA es cara, y las reflexiones habituales de «Make or Buy» funcionan aquí de otra manera. Este artículo da las cifras de octubre de 2026 para decidir con conocimiento de causa: lo que cuesta el hardware, qué modelos caben en él, el coste anual completo y, sobre todo, el umbral de rentabilidad frente al mismo modelo servido por API. El panorama completo de las opciones, desde la compra de GPU hasta el proveedor llave en mano, está en nuestra guía sobre la inferencia de IA en la empresa.

RAG on premise: lo que se suele confundir

Muchos equipos formulan la necesidad desde el ángulo del RAG on premise (o RAG on-prem): un asistente que responde a partir de tus documentos, alojado en tus instalaciones. Un RAG on premise no significa necesariamente «reconstruirlo todo y alojar uno mismo el LLM». Se distinguen tres capas:

  1. Los datos y el retrieval: documentos, derechos de acceso, índice, citas. Es el núcleo de negocio del RAG.
  2. La plataforma: conectores, ingesta, evaluación, monitorización. Es lo que más cuesta industrializar.
  3. La inferencia del LLM: el modelo que genera la respuesta (nube soberana, proveedor europeo o GPU on-prem).

Muchos proyectos «on-prem» fracasan porque atacan primero el punto 3 (comprar H100) cuando el verdadero plazo y el verdadero coste total de propiedad (TCO) están en los puntos 1 y 2. Una solución RAG empresarial llave en mano ya puede funcionar con alojamiento europeo, con opción on-premise según tus restricciones, sin que tengas que dimensionar en solitario la pila de GPU.

Algunas definiciones para leer lo que sigue con tranquilidad

  • LLM (Large Language Model): el «cerebro» del sistema. Es lo que vas a desplegar en tu servidor.
  • Número de parámetros: una medida del «tamaño» del modelo. Cuanto más alta es esta cifra, más capaz es el modelo de razonamientos finos (y más potencia de cálculo y memoria necesita).
  • Inferencia: el momento en que el modelo responde a tu petición. No hablamos aquí del entrenamiento (que ya tuvo lugar), sino del simple hecho de hacerle una pregunta y obtener una respuesta.
  • Token: una pequeña unidad de texto (una palabra o un trozo de palabra). Cuando se dice «100 tokens por segundo», significa que el modelo produce unas 100 de esas unidades cada segundo: cuanto más alto es el número, antes llega la respuesta.
  • RAG (Retrieval-Augmented Generation): una técnica que da al modelo acceso a tus documentos (PDF, wikis internos, etc.) para que responda apoyándose en tus datos y no solo en su memoria. A menudo es el elemento desencadenante de un proyecto de IA empresarial.
  • IA agéntica: una IA que no se limita a responder una vez; encadena pasos (usar una herramienta, buscar, razonar, volver a intentarlo) para llevar a cabo una tarea compleja, como un asistente que toma la iniciativa.

IA agéntica: encadenamiento de pasos y llamadas a herramientasIA agéntica: encadenamiento de pasos y llamadas a herramientas

No un modelo, sino toda una pila que hacer funcionar

Un proyecto de IA empresarial, en cuanto se vuelve un poco avanzado, no se apoya en un modelo sino en varios modelos que funcionan en paralelo: un LLM principal, modelos ligeros para las tareas sencillas (enrutamiento, extracción, nombrado), un modelo de embeddings para la búsqueda semántica, un modelo de visión si se analizan imágenes o PDF escaneados. Probablemente empezarás con 1 o 2 modelos y acabarás con 5 o 6.

En torno a esos modelos, un RAG on premise que funcione «como un servicio en la nube» tiene al menos siete piezas que operar:

PiezaOpciones open source autoalojablesPunto de atención
Motor de inferenciavLLM, SGLang, TensorRT-LLMHugging Face TGI está archivado desde marzo de 2026; Ollama trata una petición cada vez por defecto
EmbeddingsQwen3-Embedding, BGE-M3, multilingual-e5algunos modelos (jina-embeddings-v5) prohíben el uso comercial
Rerankerbge-reranker-v2-m3, Qwen3-Rerankercómo el reranking ordena los fragmentos antes del LLM
Parsing y OCRDocling, PaddleOCR, olmOCRel parsing pesa mucho en la calidad de las respuestas (nuestra comparativa de OCR)
Base vectorialQdrant, Milvus, Weaviate, pgvectorpgvector suele bastar para empezar
Pasarela y cuotasLiteLLMSSO y registros de auditoría solo en la versión de pago
ObservabilidadPrometheus y Grafana (nativos en vLLM), Langfuselas trazas de prompts contienen tus datos

A esto se añade el control de acceso por documento: cada fragmento lleva los permisos de su documento de origen (SharePoint, gestor documental), y la búsqueda filtra según ellos antes de que nada llegue al LLM. Es lo que separa la demo de Ollama del servicio en producción, y es lo que más a menudo se subestima.

En cuanto al motor, la diferencia entre una herramienta de puesto de trabajo y un servidor no tiene nada de marginal: en un benchmark de Red Hat, vLLM llega a 793 tokens/s frente a 41 de Ollama con carga, en la misma GPU y con el mismo modelo.

¿Qué modelos open weight se pueden ejecutar en local en 2026?

El modelo determina el hardware. Estos son los principales modelos open weight que una empresa puede desplegar en octubre de 2026, con el tamaño de sus pesos en Hugging Face:

ModeloParámetros (totales / activos)PesosLicenciaHardware indicado
gpt-oss-20b (OpenAI)21B / 3,6B13,8 GBApache 2.0cabe en 16 GB de memoria
Mistral Small 3.224B denso48 GBApache 2.0unos 55 GB de memoria GPU
Gemma 4 31B (Google)30,7B denso62,5 GBApache 2.0una GPU de 80 a 96 GB
gpt-oss-120b (OpenAI)117B / 5,1B65,2 GBApache 2.0una GPU de 80 GB, dos para varios usuarios
Mistral Small 4119B / 6,5B121 GB (FP8)Apache 2.0dos GPU
Nemotron 3 Super (NVIDIA)120B / 12B128 GB (FP8)NVIDIA Open Model License2× H100 en FP8
DeepSeek V4 Flash284B / 13Bunos 160 GBMIT8 GPU (receta de vLLM en 8× RTX PRO 6000)
Mistral Large 3675B / 41B682 GB (FP8)Apache 2.0un nodo 8× H200 o B200

Tres puntos que conviene tener en cuenta:

  • Claude, GPT-5 y los últimos modelos Gemini no se pueden descargar. Solo se pueden usar en la nube de su fabricante o de un hiperescalador. Los modelos open weight de OpenAI (gpt-oss), en cambio, se instalan libremente.
  • Los modelos abiertos que rivalizan con los mejores modelos cerrados (de 300.000 millones a más de un billón de parámetros) necesitan como mínimo un servidor de 8 GPU. El escalón de «60.000 €» da acceso a la clase gpt-oss-120b, no más allá.
  • Dos cifras de parámetros indican un mixture of experts (MoE). Solo los parámetros activos trabajan en cada token, pero todos deben caber en memoria: es el total lo que dimensiona las GPU. Nuestra guía del mixture of experts explica la diferencia con un modelo denso.

Cuándo bastan los modelos «pequeños»

Cuándo bastan los modelos pequeñosCuándo bastan los modelos pequeños

Varios casos de uso se conforman con modelos ligeros: tareas sencillas y precisas (poner nombre a una conversación, extraer un campo, reformular una frase), retrieval sencillo, RAG con peticiones factuales y poco encadenamiento lógico, tareas con fine-tuning sobre un ámbito estrecho.

Los modelos de 20.000 a 30.000 millones de parámetros (gpt-oss-20b, Mistral Small 3.2, Gemma 4) pueden bastar, si se toleran algunas alucinaciones y el hecho de que el modelo «razonará» poco. La ventaja: una infraestructura ligera, que hace accesible el escenario Make.

En la práctica: este escenario es poco frecuente, y casi siempre sirve solo de piloto antes de un proyecto más global.

Cuándo son imprescindibles los modelos medianos o grandes

En cuanto sube la complejidad, un modelo de unos 100.000 millones de parámetros se convierte en el mínimo. gpt-oss-120b se despliega con frecuencia, tanto por la notoriedad de su fabricante como por su buen nivel de rendimiento para ese tamaño. Los modelos más grandes (Mistral Large 3, DeepSeek, GLM, etc.) se recomiendan para las peticiones complejas con razonamiento profundo, los agentes de varios pasos con llamadas a herramientas, el análisis de varios documentos y las tareas que exigen una comprensión fina del contexto.

En resumen: en cuanto se apunta a agentes avanzados, RAG avanzado o razonamiento de negocio exigente, los grandes modelos se vuelven difíciles de sustituir sin degradar mucho la experiencia.

¿Qué hardware necesita un LLM local? La cuestión de la memoria GPU

Según NVIDIA, la regla cabe en una línea: memoria = pesos del modelo + KV cache + un margen. Los pesos dependen del número de parámetros y de su formato (2 bytes en BF16, 1 en FP8, unos 0,5 en 4 bits). El KV cache es la memoria de trabajo del modelo para cada conversación: crece con la longitud del contexto y con el número de usuarios simultáneos.

Ejemplo con cifras con gpt-oss-120b (cálculo a partir de su configuración publicada), para 32 usuarios a la vez, cada uno con 32.000 tokens de contexto (un RAG habitual):

PartidaMemoria
Pesos del modelo65,2 GB
KV cache, 32 usuarios × 32K tokens38,7 GB
Total, antes del margenunos 104 GB

OpenAI tiene razón al decir que el modelo «cabe en una sola GPU de 80 GB». Pero en una H100 de 80 GB quedan unos 10 GB para el KV cache, es decir, aproximadamente 7 conversaciones largas a la vez. Para una treintena de usuarios en RAG, hacen falta dos H100, o una GPU de 141 GB (H200) o más.

Escalón de hardwareMemoria GPULo que cabe, con espacio para los usuarios
1 GPU de 24 a 32 GB24 a 32 GBgpt-oss-20b, Gemma 4 o Mistral Small en 4 bits, pocos usuarios
1 GPU de 80 a 96 GB (H100, RTX PRO 6000)80 a 96 GBgpt-oss-120b con pocas sesiones largas; Gemma 4 31B
2 GPU160 a 192 GBgpt-oss-120b para unas decenas de usuarios; Mistral Small 4
8 GPU (HGX H200, B200)768 GB a 1,5 TBDeepSeek V4 Flash, Mistral Large 3

Los usuarios son exigentes: velocidad por usuario frente a rendimiento total

Los usuarios se han vuelto impacientes, acostumbrados a servicios de consumo como ChatGPT, que responden casi al instante. La velocidad decide a menudo la adopción o el rechazo de la herramienta. Por debajo de 100 tokens generados por segundo, corre el riesgo de percibirse como lenta. Si la IA es agéntica, llama a varias herramientas y «razona», hay que apuntar más bien a 500 tokens por segundo o más.

Umbrales de referencia:

  • ~500 tokens/s: proyectos de varios pasos, llamadas a herramientas, razonamiento, agentes complejos.
  • ~100 tokens/s: tareas sencillas sin reflexión (chat básico, completado).

Un servidor on premise tiene dos límites que no se pueden maximizar a la vez: la velocidad que percibe cada usuario y el volumen total que produce. Los benchmarks publicados lo muestran:

  • En 2× RTX PRO 6000, según las mediciones de Millstone AI, gpt-oss-120b pasa de 230 tokens/s para un usuario solo con un contexto corto a 14,5 tokens/s por usuario con 6 usuarios y contextos largos. La espera hasta la primera palabra pasa de 50 ms a 18 segundos con 128.000 tokens de contexto.
  • En 2× H100 ajustadas para el rendimiento máximo, según las pruebas de rendimiento de GPUStack, el mismo modelo alcanza 16.042 tokens/s en total (entrada y salida, de ellos 7.649 de salida), pero cada usuario recibe entonces unos 12 tokens/s, tras 4,6 segundos de espera.

Los «16.000 tokens/s» de los folletos comerciales son usuarios servidos a 12 tokens/s. Los «200 tokens/s» son un usuario solo.

A modo de comparación, Cerebras anuncia unos 3.000 tokens/s con el mismo modelo. En ATG observamos de 1.000 a 2.000 tokens/s: de 4 a 13 veces más rápido que el servidor on premise con un solo usuario, y mucho más con carga.

Los usuarios también están acostumbrados a muchos servicios adicionales, como adjuntar un PDF a un mensaje y verlo procesado de inmediato. Los servicios en la nube destacan en este terreno. En local se puede ofrecer convirtiendo el documento en imágenes para un modelo de visión, pero será más lento y a menudo limitado (en número de páginas, por ejemplo).

Precio del hardware en 2026: la H100 ha desaparecido y la memoria se dispara

El orden de magnitud «2× H100 ≈ 60.000 €» sigue valiendo para las tarjetas solas, pero el panorama ha cambiado:

  • La H100 ya no se vende nueva. Según el revendedor nelpx, la última entrega de distribuidor de la H100 NVL fue el 15 de junio de 2026; otros revendedores, como Prostor, todavía la muestran en torno a 28.446 € sin IVA la tarjeta. Su sustituta natural, la H200 NVL (141 GB), cuesta lo mismo: desde 26.500 € sin IVA, con un 50 % más de memoria.
  • La tarjeta «asequible» ha duplicado su precio. Según Tom's Hardware, la RTX PRO 6000 de NVIDIA (96 GB) pasó de 8.565 $ en marzo de 2025 a 16.000 $ en agosto de 2026, por efecto de la escasez de memoria: según TrendForce, la DRAM para servidores subió entre un 13 y un 18 % en un solo trimestre en el tercer trimestre de 2026.
  • Un servidor completo cuesta más que sus tarjetas. Chasis, procesadores, RAM, almacenamiento y red: hay que contar con de 70.000 a 90.000 € sin IVA para un servidor de 2 GPU (nuestra estimación). Como referencia, un servidor 3× RTX PRO 6000 aparece a 89.562 € sin IVA en LDLC Pro, y un Lenovo 2× RTX PRO 6000 a 68.011 $ según Lenovo Press.
  • La obsolescencia se mide. Según el banco de pruebas InferenceX de SemiAnalysis, a igual velocidad por usuario, una B200 produce 5 veces más tokens que una H100 con gpt-oss-120b. Las GPU compradas hoy llevarán dos generaciones de retraso antes de estar amortizadas.

El alquiler es el otro punto de referencia. Una H100 cuesta 2,80 € la hora en OVHcloud y 2,87 € en Scaleway, frente a 6,88 $ en AWS y 12,29 $ en Azure, según el comparador Vantage. Dos H100 alquiladas de forma continua en OVHcloud salen por unos 49.000 € al año: un servidor de 2 GPU cuesta el equivalente a un año y medio de alquiler continuo, antes de energía, alojamiento, mantenimiento y personal.

Coste total de propiedad: el precio de compra es solo una línea

Nuestra estimación para un servidor de 2 GPU comprado por 80.000 € sin IVA, dimensionado para gpt-oss-120b. Hipótesis: 1,8 kW de consumo, eficiencia del centro de datos (PUE) de 1,42 de media en Francia según el regulador francés Arcep, electricidad a 0,20 € el kWh (pymes francesas, 2026), colocation de 100 a 150 € por kW y mes, mantenimiento del 10 al 12 % anual, ingeniero de LLMOps a 120.000 € al año con cargas (unos 85.000 € brutos). La licencia NVIDIA AI Enterprise (4.500 $ por GPU y año) está incluida durante cinco años con las tarjetas H100 NVL y H200 NVL.

€ al añoBajo (solo hardware)Medio (¼ de ingeniero)Alto (½ ingeniero, amortización en 3 años)
Amortización (4 años)20.00020.00026.667
Electricidad4.4784.4784.478
Alojamiento02.4003.600
Mantenimiento8.0008.0009.600
Personal030.00060.000
Total al año≈ 32.500≈ 64.900≈ 104.300

La electricidad no es el problema: del 4 al 14 % del total. El personal y la amortización suponen del 77 al 83 % del coste en los escenarios medio y alto. Y esta tabla no incluye ni el resto de la pila RAG, ni una segunda máquina para la redundancia, ni los costes de proyecto (integración, seguridad, pruebas).

¿A partir de cuándo sale rentable un LLM local frente al mismo modelo por API?

La comparación honesta se hace con el mismo modelo servido por API, no con un modelo cerrado más capaz. gpt-oss-120b cuesta 0,15 € por millón de tokens de entrada y 0,60 € de salida en Scaleway, proveedor francés. Para un RAG (unos 8 tokens de entrada por 1 de salida), eso supone 0,20 € por millón de tokens de media.

En cuanto a capacidad, a 100 tokens/s por usuario, una H100 produce como máximo 5.863 tokens/s con este modelo según InferenceX (medido en nodos muy optimizados, hipótesis favorable al on premise). Un servidor de 2 GPU entrega, por tanto, como máximo 370.000 millones de tokens al año en continuo, y 93.000 millones en horario laboral.

Escenario de TCOCoste anualUmbral (tokens al año)Uso 24/7 necesario
Bajo (solo hardware)32.500 €162.000 millones44 %
Medio (¼ de ingeniero)64.900 €324.000 millones88 %
Alto (½ ingeniero)104.300 €522.000 millones141 % (imposible)

Cómo leerlo:

  1. A igual modelo, el servidor solo gana a la API si funciona día y noche, a más del 44 % de su capacidad sin contar el personal, al 88 % con un cuarto de jornada de ingeniero. Saturado de 8 a 18 h y vacío por la noche, produce el equivalente a 18.600 € de API al año: menos que su sola amortización.
  2. En usuarios, el umbral medio representa unos 11.000 usuarios intensivos de un asistente RAG (20 peticiones al día). El servidor, saturado en horario laboral, atiende como mucho a unos 3.250.
  3. El umbral solo se vuelve alcanzable con procesamientos masivos en segundo plano (clasificar o extraer documentos, indexar, agentes en batch) que llenen las noches y los fines de semana.
  4. Por qué otros análisis llegan a «de 9 a 18 meses»: comparan con una API cerrada. Frente a un modelo de la clase GPT-5, unas diez veces más caro, el umbral medio baja a 34.000 millones de tokens al año. Pero entonces se comparan dos modelos de calidad distinta. Los estudios publicados cuentan o bien solo la electricidad, o bien el alquiler de GPU bajo demanda en un hiperescalador estadounidense.

Y el umbral se mueve en mala dirección para el on premise: el precio de la inferencia a igual rendimiento baja unas 10 veces al año, mientras que el hardware comprado se queda en su coste de 2026.

En resumen: solo en coste, y a igual modelo, el Buy gana en casi todos los usos interactivos. El on premise sale rentable con volúmenes enormes procesados de forma continua, o cuando lo impone otra restricción distinta del coste.

Cinco opciones entre «todo on premise» y «API pública»

La elección no es binaria. De la más controlada a la más delegada:

OpciónEjemploOrden de precioSoberanía
1. On premise, en tus instalaciones o en colocationservidor de 2 a 8 GPUde 70.000 a 90.000 € + de 32.000 a 104.000 € al añosolo depende de ti
2. Appliance «AI in a box»HPE Private Cloud AI, Dell AI Factory, NVIDIA DGXvarios cientos de miles de euroshardware en tus instalaciones, fabricante estadounidense o chino para el soporte
3. GPU dedicadas en un proveedor de alojamiento europeoScaleway Managed Inference, OVHcloud6,68 € la hora por 2× H100 en Scalewaysí, si el proveedor está controlado desde el EEE
4. API de un proveedor europeoScaleway, OVHcloud AI Endpoints0,15 € / 0,60 € por millón de tokens para gpt-oss-120bsí, con la misma condición
5. Modelo en la red privada de un hiperescalador estadounidenseAWS Bedrock, Azure OpenAI, Gemini en Google Distributed Cloudpor usono: la empresa matriz está sujeta a la CLOUD Act

La opción 3 es la comparación más honesta con la compra: mismo software, mismo modelo, mismo aislamiento, pero sin inversión ni obsolescencia. Dos H100 dedicadas en Scaleway cuestan unos 58.500 € al año en continuo, o unos 14.700 € si solo se usan en horario laboral.

Soberanía: lo que el on premise resuelve y lo que no

El on premise garantiza que solo tú accedes a los datos en claro. Pero la soberanía no exige el on premise: un modelo open weight servido por un proveedor europeo controlado desde el EEE ofrece la misma protección jurídica, sin inversión en hardware. Nuestra regla es estricta: un proveedor cuya empresa matriz está fuera del EEE no supera el criterio de soberanía, aunque tenga una filial europea y centros de datos en Europa, porque la CLOUD Act se aplica sea cual sea el lugar de almacenamiento.

A la inversa, un modelo open weight alojado en casa no «llama» a su fabricante: la nacionalidad de este (OpenAI para gpt-oss, Alibaba para Qwen, DeepSeek) no expone tus datos. Pesa sobre la continuidad (no hay actualizaciones garantizadas) y sobre los sesgos del modelo.

El on premise sigue estando justificado para los sistemas desconectados de internet (defensa, secreto industrial), las restricciones contractuales de un cliente o una política que prohíba cualquier subcontratación. Es la ilusión a la que remite este artículo: creer que solo el on premise es soberano.

Lista de comprobación para decidir

Merece la pena estudiar el on premise si se cumplen la mayoría de estas condiciones:

  • la obligación de funcionar desconectado de internet, o un contrato que prohíba cualquier proveedor de alojamiento externo;
  • un volumen que llene la máquina día y noche, gracias a procesamientos masivos, no solo chat en horario laboral;
  • un equipo capaz de operar GPU, un motor de inferencia y una pila RAG, con al menos dos personas para garantizar la continuidad;
  • casos de uso que un modelo de la clase de 120.000 millones de parámetros trate bien, o un presupuesto para un servidor de 8 GPU;
  • un presupuesto de 70.000 a 90.000 € para la compra, más de 30.000 a 70.000 € al año para la explotación;
  • casos de uso y volúmenes ya validados con un proveedor.

Si se cumplen menos de tres, un proveedor europeo es el mejor punto de partida.

Preguntas frecuentes

¿Qué es un LLM local?

Es un modelo de lenguaje que funciona en un hardware que la empresa posee o controla, dentro de su propia red, sin ninguna API de terceros en el camino de los datos. En la práctica, se trata de un modelo open weight (gpt-oss, Mistral, Gemma, Qwen, DeepSeek) servido por un motor de inferencia como vLLM en las GPU de la empresa, en su centro de datos o en colocation.

¿Cuánto cuesta un LLM local?

Para un modelo como gpt-oss-120b, hay que contar con unos 60.000 € por dos GPU y de 70.000 a 90.000 € sin IVA por el servidor completo. La explotación cuesta de 32.000 a 104.000 € al año según el tiempo de personal que se le dedique, y la amortización y el personal pesan mucho más que la electricidad.

¿A partir de qué volumen un LLM local sale más barato que una API?

A igual modelo, un servidor de 2 GPU para gpt-oss-120b gana al precio por API de un proveedor europeo por encima de 160.000 a 520.000 millones de tokens al año, lo que supone funcionar al 44 a 88 % de su capacidad día y noche. Un uso interactivo en horario laboral nunca llega a ello; los procesamientos masivos en segundo plano, sí.

¿Cuánta memoria GPU hace falta para un LLM?

Hay que sumar los pesos del modelo (parámetros × bytes por parámetro), el KV cache (que crece con la longitud del contexto y el número de usuarios simultáneos) y un margen de seguridad. gpt-oss-120b pesa 65 GB, pero servir a 32 usuarios con 32.000 tokens de contexto cada uno requiere unos 104 GB, es decir, dos GPU de 80 GB.

¿vLLM u Ollama en producción?

Ollama está pensado para un puesto de trabajo: trata una petición cada vez por defecto. Para un servicio compartido por varios usuarios, hace falta un motor como vLLM o SGLang, que agrupa las peticiones y ofrece un rendimiento muy superior en la misma GPU.

¿Qué hace falta para un RAG on premise?

Además del LLM: un modelo de embeddings, un reranker, una herramienta de parsing y OCR para los documentos, una base vectorial, una pasarela con autenticación y cuotas, observabilidad y un control de acceso por documento para que cada usuario solo encuentre lo que tiene derecho a leer. Son al menos siete piezas que operar.

¿Hace falta el on premise para cumplir el RGPD o ser soberano?

No. Un proveedor controlado desde el Espacio Económico Europeo, que sirve modelos open weight en Europa, ofrece la misma protección jurídica sin comprar hardware. El on premise sigue siendo útil cuando los sistemas deben estar desconectados de internet o un contrato prohíbe cualquier proveedor de alojamiento externo.

¿Se puede instalar Claude, GPT-5 o Gemini on premise?

Ni Claude ni GPT-5: sus pesos no se pueden descargar y solo están disponibles en la nube de su fabricante o de un hiperescalador. Gemini existe en Google Distributed Cloud, incluso en modo desconectado, pero el fabricante sigue siendo estadounidense. Los modelos open weight de OpenAI, gpt-oss-20b y gpt-oss-120b, se instalan libremente.

¿Un LLM local vale lo que ChatGPT?

No con el mismo presupuesto de hardware. Los modelos abiertos de la clase de 120.000 millones de parámetros, que funcionan en un servidor de 2 GPU, se quedan por detrás de los mejores modelos cerrados en el razonamiento complejo. Los modelos abiertos que se les acercan (de 300.000 millones a más de un billón de parámetros) necesitan como mínimo un servidor de 8 GPU.


Conclusión

El on premise tiene sentido para casos de uso bien delimitados con restricciones estrictas (sistemas desconectados, obligaciones contractuales) o con volúmenes muy grandes procesados de forma continua. Para un proyecto empresarial ambicioso (agentes, RAG complejo, razonamiento), el Buy suele ganar en velocidad, en sencillez y, a igual modelo, en coste.

El on premise es a menudo una elección de convicción, totalmente legítima. Pero es más sencillo de poner en marcha una vez que se sabe lo que el proyecto necesita de verdad.

Nuestra recomendación en Ask This Guy: empezar con un proveedor europeo para ganar madurez y validar los casos de uso y los volúmenes, y después evaluar el on premise solo si el volumen y unas exigencias específicas lo justifican. Si tu prioridad es un RAG on premise operativo sin reconstruir toda la pila, conviene mirar primero nuestra solución RAG empresarial (alojamiento europeo, opción on-prem).

Y si tu motivación principal es la soberanía más que el coste, conviene empezar por aclarar lo que abarca exactamente esa palabra: IA soberana, definición y criterios. Alojar el modelo en casa es solo una de las tres capas en juego, y rara vez la más urgente.

Para ganar competencias en IA

Arbitrar entre local y proveedor de inferencia, dimensionar las GPU, controlar el coste de un modelo en producción: estas decisiones se aprenden. Para los profesionales que quieren formarse en MLOps y LLMOps, Jedha ofrece un itinerario de 150 horas dedicado a la industrialización de la IA: infraestructura distribuida (GPU, Kubernetes), gobernanza de los datos, cumplimiento del RGPD y del AI Act, y control de costes. Es, a día de hoy, la única formación en Francia que cubre ambas cosas a la vez. Se dirige a perfiles que ya tienen dos años de experiencia en datos o en IA.


¿Quieres desplegar un asistente de IA eficaz sin gestionar la infraestructura? Reserva una demo de 20 minutos y te mostramos cómo.

Partager :

Artículos relacionados

Olala mini, el primer LLM de OVH: lo que vale de verdadIA

Olala mini, el primer LLM de OVH: lo que vale de verdad

Olala mini 7A1B, el primer LLM de OVH, funciona sin tarjeta gráfica. Qué significa 7A1B, qué no dicen las cifras y para qué puede servir en la empresa.

9 min
DeepSeek V4.1 Pro vs. DeepSeek V4 Pro: ¿qué cabe esperar?IA

DeepSeek V4.1 Pro vs. DeepSeek V4 Pro: ¿qué cabe esperar?

DeepSeek V4.1 Pro no ha salido a 16 de noviembre. Lo confirmado, lo que valen los rumores y DeepSeek V4 Pro hoy: precio, licencia, protección de datos.

11 min
Qwen 3.8 27B vs Qwen 4 27B: ¿qué cabe esperar?IA

Qwen 3.8 27B vs Qwen 4 27B: ¿qué cabe esperar?

Qwen4-Max salió el 16 de noviembre, sin pesos, y Qwen 4 27B se hace esperar. Lo que está confirmado y lo que vale Qwen 3.8 27B frente a Mistral.

18 min

¿Te interesan nuestras soluciones?

Mira cómo Ask This Guy puede acelerar tus proyectos de IA

Reservar una demo