Despliegue de LLMs
Modelos propios o de proveedor, servidos con GPU o por API. Elegimos el modelo por coste y calidad, no por moda, y medimos latencia y gasto por petición desde el primer día.
Producciónqwen-32b
Latencia p50
0,84 s
Latencia p95
2,10 s
Tokens servidos
31,4 M
Coste por millón
0,48 €
Coste del periodo 15,07 € · 0 errores 5xx · 1 reinicio programado
Qué incluye
Contar mi caso- Elección de modelo con una prueba propia
- vLLM, cuantización y caché de respuestas
- GPU dedicada o API, según volumen
- Latencia p50 y p95 por ruta
- Coste por millón de tokens y por petición
- Registro de prompts y respuestas con retención acordada