Posso escalar por uso de GPU?

Sim, desde que exponha a métrica via Prometheus e integre ao autoscaler do Knative.

O scaling do Knative funciona com qualquer modelo?

Funciona com qualquer modelo exposto via HTTP, mas o ajuste fino depende das métricas disponíveis.

Preciso de Prometheus obrigatoriamente?

Para métricas customizadas, sim. Para scaling padrão (concurrency, RPS), não é obrigatório.

Entrar ou criar conta

KServe avançado: deploy, automação e escala de modelos IA abertos

Scaling dinâmico com Knative e métricas customizadas

Em resumo

Escalar modelos IA sob demanda exige mais que aumentar pods: é preciso reagir a métricas reais de uso. Knative integra-se ao KServe e permite scaling automático, inclusive com métricas customizadas. O ajuste fino dessas estratégias é vital para evitar custos e gargalos.

Conta gratuita