Protocolo: Qual o tempo médio de atualização de dados do PostgreSQL via extrator Python a partir da API do Bluesoft ERP?

Roteiro para estudo em ambiente de laboratório ou de teste. Execute apenas em equipamentos, redes e contas que você tenha autorização para usar, com backup e homologação próprios. Comandos podem causar indisponibilidade ou perda de dados. Software e marcas citados pertencem aos seus titulares. Termos de Uso.

Hipótese

A atualização completa das tabelas fato_venda e dim_produto via extrator Python ocorre em menos de 10 minutos por lote de 10.000 registros (EXEMPLO).

Variáveis

Ambiente

Servidor Linux com PostgreSQL instalado (versão suportada pelo Superset), Python 3.x, requests, psycopg2, conexão estável à internet. O extrator Python deve ler os dados do recurso de vendas e de produtos da API do Bluesoft ERP, usando token x-CustomToken, e inserir no banco bi_varejo. O tempo é medido com time.time() ou equivalente.

Procedimento

1. Preparar banco

   Certifique-se de que o banco bi_varejo está criado e vazio, com as tabelas fato_venda e dim_produto conforme o modelo de estudo.

2. Configurar extrator

   Configure o script Python para consumir lotes de 10.000 registros dos recursos de vendas e produtos da API, usando variáveis para URL_RECURSO e token.

3. Iniciar medição

   Antes de iniciar a extração, registre o horário de início com time.time().

4. Executar extração

   Rode o script para extrair e inserir os dados no PostgreSQL.

   python extrator.pyCopiar

5. Finalizar medição

   Ao concluir a inserção do lote, registre o horário de término com time.time().

6. Calcular tempo

   Subtraia o horário de início do de término para obter o tempo total de atualização.

7. Repetir

   Repita o procedimento completo 5 vezes para o mesmo tamanho de lote, limpando as tabelas entre as execuções.

Planilha de coleta

Repetições recomendadas: 5. Baixe a planilha vazia em CSV: colunas prontas.

Análise

Calcule a média, mediana e desvio padrão do tempo total de atualização para cada tamanho de lote. Compare os resultados entre execuções para avaliar estabilidade. Analise se o tempo atende ao objetivo definido na hipótese.

Critérios de decisão

• Tempo médio de atualização por lote deve ser inferior ao limite operacional definido pelo responsável técnico.
• Desvio padrão não deve ultrapassar 20% da média (EXEMPLO).
• Não pode haver falhas de extração ou inserção em nenhuma execução.

Fontes de erro e mitigação

• Variação de latência de rede: execute em horários diferentes e descarte outliers.
• Carga do servidor Bluesoft ERP: monitore eventuais mensagens de limitação na API.
• Consistência do hardware local: execute sempre na mesma máquina.
• Paginação e limites da API: confira a documentação do tenant para garantir que todos os registros do lote sejam extraídos.