Posso usar outro sistema de logs além do Fluent Bit?

Sim, qualquer agente compatível com Kubernetes e logs estruturados pode ser usado, como Fluentd ou Loki.

É possível coletar métricas customizadas do meu modelo?

Sim, basta expor métricas no formato Prometheus no endpoint /metrics do seu container.

Tracing distribuído impacta a performance?

O overhead é pequeno, mas pode ser relevante em cargas muito altas; ajuste a taxa de sampling conforme necessário.

Preciso de Istio para tracing ou há alternativas?

Istio facilita tracing distribuído, mas você pode integrar Jaeger ou OpenTelemetry diretamente nos containers se preferir.

Entrar ou criar conta

KServe avançado: deploy, automação e escala de modelos IA abertos

Logs, métricas e tracing: o tripé da observabilidade em KServe

Em resumo

Sem observabilidade, modelos em produção são caixas-pretas. KServe expõe logs estruturados, métricas Prometheus e tracing Istio para rastrear, medir e entender cada requisição de inferência. Com esses dados, você identifica gargalos e falhas antes que virem incidentes.

Conta gratuita