Embeddings: lo que nos enseñó una demo fallida

Embeddings: lo que nos enseñó una demo fallida

API de embeddings lentas y dependencia de un proveedor: nuestra experiencia en producción y por qué ATG llama en paralelo a Qwen 3 Embedding 8B.

Conceptos
4 min de lectura

Nota: todos los datos que siguen proceden de un benchmark realizado por la plataforma Ask This Guy y corresponden al periodo del 5 al 25 de enero de 2026. Las peticiones se envían con regularidad desde un servidor de ATG situado en Francia, que mide los tiempos de respuesta.

Un momento complicado

Llamada con un cliente potencial. Estamos ahí para presentar Ask This Guy, nuestra solución de IA que (entre otras cosas) se apoya en los documentos internos de la empresa. Todo está preparado, la demo está más que ensayada.

Tecleamos una consulta sencilla en la interfaz. Y entonces... silencio.

Tres segundos. Diez segundos. Intentamos pasar a otro tema, balbuceamos un poco, pero adivinamos lo que pasa por la cabeza del cliente y la pregunta que no llega a formular: «¿De verdad funciona su solución?»

Terminada la reunión, echamos un vistazo a los registros y el veredicto es inmediato: nos había tocado el peor momento. Ese día, la API de Mistral tardó casi un minuto en responder. ¿Una simple anomalía? No exactamente: como vamos a ver, es un problema estructural.

Este episodio embarazoso nos obligó a plantearnos una pregunta sencilla pero crucial: ¿cómo garantizar un rendimiento fiable en producción cuando se depende de proveedores de IA externos?

Lo que hemos aprendido desde entonces lo compartimos aquí.

Volver a lo básico: ¿qué son los embeddings?

Antes de entrar en materia, un breve recordatorio. Si se despliega en la empresa una IA que se apoya en los documentos internos mediante una arquitectura RAG (Retrieval-Augmented Generation), hacen falta embeddings para la búsqueda semántica.

¿Qué es un embedding?

Imagina que el significado de cada frase de tus documentos se transforma en un vector numérico, es decir, en una representación matemática de su significado. Eso es un embedding, y el modelo de embeddings es el modelo de IA que calcula esa transformación. Permite encontrar muy rápido una información que responde a la necesidad de un usuario.

El mecanismo es sencillo en teoría:

  1. Un usuario envía un mensaje
  2. El sistema formula una o varias consultas de búsqueda
  3. Esas consultas se convierten en embeddings (vectores)
  4. Esos vectores se comparan con los de los documentos
  5. Se recuperan los fragmentos más cercanos
  6. La respuesta se genera a partir de esos fragmentos

¿Se ve adónde queremos llegar? Cada vez que un usuario envía una petición, hay que calcular un embedding. Si ese cálculo tarda, el usuario espera. Si el embedding falla, no hay respuesta en absoluto.

Por eso el rendimiento de los embeddings no es un detalle técnico: es la experiencia del usuario.

Se puede, por ejemplo, definir un rendimiento aceptable así:

  • Objetivo: un tiempo de respuesta inferior a 300 ms en la gran mayoría de los casos
  • Límite crítico: no superar nunca el segundo

Y no hay que olvidar otro punto crucial: no todos los modelos de embeddings son iguales. Las diferencias de pertinencia de las respuestas son enormes, y lo comprobamos cuando quisimos probar modelos «medianos». Para comparar modelos, el MTEB leaderboard de HuggingFace es una muy buena base.

Nuestro recorrido inicial: los «grandes» del mercado

Cuando empezamos a desarrollar Ask This Guy, la elección parecía evidente: los grandes actores del mercado, Mistral y OpenAI. Es más o menos lo que hace todo el mundo, ¿no?

Efectivamente, por ahí empezamos.

La idoneidad de este enfoque es... discutible. El rendimiento de OpenAI ronda de media el segundo con el modelo large (y aproximadamente medio segundo con el modelo small). No es catastrófico, pero está lejos de nuestro objetivo.

Mistral, por su parte, muestra un mejor rendimiento mediano, en torno a 300 ms, pero una tasa de fallos importante:

Rendimiento de Mistral y OpenAIRendimiento de Mistral y OpenAI

Veamos más de cerca la irregularidad, día a día, sobre todo en Mistral:

Rendimiento de Mistral y OpenAIRendimiento de Mistral y OpenAI

La mayor parte del tiempo, más del 95 % de las peticiones se procesan en menos de un segundo. Sobre el papel, es correcto. Pero algunos días son sencillamente catastróficos. Es lo que vivimos durante nuestra demo. Y es lo que nuestros datos ponen de manifiesto de forma implacable.

Segundo problema: el lock-in del modelo de embeddings

Supongamos que se ha encontrado el proveedor perfecto (aunque a estas alturas del artículo todavía no sea el caso).

Perfecto.

Pero ¿qué pasa mañana si su rendimiento empeora? ¿O si sube sus precios? ¿O si la empresa desaparece?

La respuesta natural sería: «¡Pues cambiamos de proveedor!»

Solo que... no es tan sencillo.

Este es el problema técnico de fondo: comparar embeddings generados con modelos distintos no funciona. Los vectores no son compatibles. Una vez que se ha utilizado un modelo para indexar los documentos, se está condenado a usar el mismo modelo para las consultas (o a volver a indexar todos los documentos).

Ahí es donde la elección del modelo se vuelve estratégica:

  • Con un modelo propietario (como los de OpenAI, por ejemplo), se depende por completo de ese proveedor. No hay salida posible.
  • Con un modelo open weights, en cambio, se pueden utilizar varios proveedores para el mismo modelo. Y ahí es donde la cosa se pone realmente interesante.

Los especialistas de la inferencia

Volvamos a los resultados de nuestro benchmark. Se perfila una tendencia: algunos proveedores salen mucho mejor parados que los gigantes tradicionales. Son especialistas de la «inferencia», la capacidad de ejecutar un modelo de IA rápido y bien. Se apoyan en modelos open weights.

Comparación del rendimiento de los proveedores de embeddingsComparación del rendimiento de los proveedores de embeddings

En concreto, en embeddings, Scaleway y Nebius (¡dos europeos!) destacan claramente entre los proveedores que hemos probado.

Y su regularidad es mejor, sobre todo en Scaleway, donde es notable:

Comparación del rendimiento de los proveedores de embeddingsComparación del rendimiento de los proveedores de embeddings

¿Por qué? Probablemente porque son especialistas de la infraestructura cloud y de la inferencia, mientras que OpenAI o Mistral son ante todo creadores de modelos. La especialización compensa.

¿Es suficiente?

Todavía no del todo. Por bueno que sea el rendimiento de algunos actores, siguen existiendo momentos de bajón. Y un riesgo inherente al vendor lock-in, si su rendimiento empeora o sus precios suben.

Para resolver los dos problemas, elegimos un modelo de embeddings open weights especialmente eficaz y disponible en varios proveedores también eficaces: Qwen 3 Embedding 8B.

A partir de ahí, caben dos estrategias:

  1. El enfoque dinámico: se vigila el rendimiento en tiempo real y se envía cada petición al proveedor más rápido del momento. Si una petición falla en uno, se reenvía al otro.
  2. El enfoque «a todos a la vez»: dado el bajo coste económico y ecológico de los embeddings (se puede bajar de un céntimo de euro por millón de tokens; dicho de otro modo, generar el embedding cuesta unas 200 veces menos que enviar el mismo documento a GPT 5.2 en una petición), ¿por qué privarse? Se envía la petición a varios proveedores a la vez y se toma la primera respuesta que llega.

Este segundo enfoque es el que hemos elegido en Ask This Guy.

¿El resultado? Un rendimiento ultraestable, ninguna dependencia crítica de un solo proveedor y un coste que sigue siendo muy razonable.

Una lección que todo profesional de TI conoce... pero que es aún más cierta con la IA

Hacer un POC es fácil. La producción es otra historia.

En un POC, la irregularidad apenas se nota. Con unas pocas peticiones, todo parece funcionar. Pero en producción, con usuarios reales, volúmenes reales y expectativas altas, cada debilidad salta a la vista.

La buena noticia es que con ingeniería y paciencia, se acaba resolviendo cualquier problema.

¿Nuestra demo fallida? Nos costó un momento de apuro, pero nos hizo ganar una arquitectura mucho más robusta. Y eso no tiene precio.

¿Quieres saber más sobre nuestro enfoque RAG o sobre nuestras otras experiencias con la IA en producción? Puedes reservar una demo.

Partager :

Artículos relacionados

Reranker en RAG: qué es el reranking y el cross-encoderConceptos

Reranker en RAG: qué es el reranking y el cross-encoder

Un reranker reordena los pasajes que encuentra un RAG antes de pasarlos al LLM. Cross-encoder, bi-encoder, RRF, coste y latencia: cuándo compensa usarlo.

¿Qué es un Forward Deployed Engineer (FDE)? SignificadoConceptos

¿Qué es un Forward Deployed Engineer (FDE)? Significado

Qué es un Forward Deployed Engineer (FDE): un ingeniero de software que trabaja en casa del cliente. Origen en Palantir, funciones, salarios y diferencias.

10 min
Agentic RAG: ¿cuántos documentos puede tratar un RAG?Conceptos

Agentic RAG: ¿cuántos documentos puede tratar un RAG?

Un RAG casero se queda en unos pocos miles de documentos por agente, menos si se parecen. Un agentic RAG que filtra antes de buscar trata más de 100.000.

¿Te interesan nuestras soluciones?

Mira cómo Ask This Guy puede acelerar tus proyectos de IA

Reservar una demo