Protocolo: Qual o impacto do volume de logs no tempo de ingestão do Loki usando Fluent Bit?

Hipótese

Aumentar o volume de logs enviados pelo Fluent Bit eleva linearmente o tempo de ingestão no Loki até atingir um limite de saturação, a partir do qual a latência cresce de forma abrupta.

Variáveis

Ambiente

Ambiente mínimo: Loki (última versão estável, AGPL), Fluent Bit (última versão estável, Apache 2.0), ambos em containers dedicados, conectados por rede local dedicada (por exemplo, em uma rede de fibra dedicada como a da Upnetix). Ferramenta de geração de logs sintéticos: k6 (Apache 2.0) para simular carga HTTP, ou script customizado em shell/python. Prometheus para coleta de métricas de latência e erro.

Procedimento

1. Preparação

   Instale e configure Loki e Fluent Bit em containers separados, conectados pela mesma rede local. Configure o Fluent Bit para enviar logs para o endpoint do Loki.

2. Configuração do Fluent Bit

   Ajuste o parâmetro de batch e o formato do output para Loki conforme a documentação.

   consulte a documentação oficial do Fluent Bit para configuração do output LokiCopiar

3. Geração de logs

   Use k6 ou script para gerar arquivos de log sintéticos de tamanho controlado, variando o volume por minuto.

4. Execução dos testes

   Para cada volume definido (por exemplo, 10, 50, 100, 200, 500 MB/min), envie logs durante 10 minutos. Repita cada teste 5 vezes.

5. Coleta de métricas

   Monitore o tempo de ingestão e taxa de erro usando métricas do Loki expostas via Prometheus.

   consulte a documentação do Loki para métricas de ingestãoCopiar

6. Registro dos dados

   Anote os resultados em planilha conforme o modelo de coleta.

Planilha de coleta

Repetições recomendadas: 5. Baixe a planilha vazia em CSV: colunas prontas.

Análise

Calcule média, mediana e percentil 95 do tempo de ingestão para cada volume. Compare a evolução da latência e taxa de erro conforme o volume aumenta. Identifique o ponto de inflexão onde a latência dispara ou a taxa de erro cresce.

Critérios de decisão

• O tempo médio de ingestão não deve ultrapassar 500 ms até o volume de saturação.
• A taxa de erro deve permanecer abaixo de 1% até o volume de saturação.

Fontes de erro e mitigação

• Variações de rede podem afetar a latência; use rede dedicada.
• Caches do sistema operacional podem influenciar resultados; limpe caches entre repetições.
• Ajustes automáticos de recursos dos containers podem mascarar gargalos; fixe limites de CPU e memória.