podko
Hablemos

Despliegue de LLMs

Modelos propios o de proveedor, servidos con GPU o por API. Elegimos el modelo por coste y calidad, no por moda, y medimos latencia y gasto por petición desde el primer día.

Producciónqwen-32b
Latencia p50 por petición 0,84 s
Latencia p95 por petición 2,10 s
Tokens servidos 7 días 31,4 M
Coste por millón GPU incluida 0,48 €
Coste del periodo 15,07 € · 0 errores 5xx · 1 reinicio programado

Qué incluye

Contar mi caso
  • Elección de modelo con una prueba propia
  • vLLM, cuantización y caché de respuestas
  • GPU dedicada o API, según volumen
  • Latencia p50 y p95 por ruta
  • Coste por millón de tokens y por petición
  • Registro de prompts y respuestas con retención acordada