Posso limitar o número de conexões externas por hook no Airflow?

O Airflow não limita nativamente; depende do operador e do banco de destino. Consulte a documentação do hook específico.

O parâmetro 'max_active_connections' existe na configuração do Airflow?

Não. Esse parâmetro não existe oficialmente no Airflow; ajuste o pool de conexões usando 'sql_alchemy_pool_size' e 'sql_alchemy_max_overflow'.

Como saber se preciso aumentar o pool de conexões?

Se tarefas ficam presas em 'queued' ou aparecem erros de conexão, é sinal de que o pool está pequeno para a carga atual.

Preciso reiniciar o Airflow após alterar o airflow.cfg?

Sim. Alterações em parâmetros de recursos só têm efeito após reiniciar os serviços do Airflow.

Dimensionando recursos: workers, conexões e banco de metadados

Em resumo

Dimensionar corretamente workers, conexões e banco de metadados no Apache Airflow é fundamental para evitar gargalos e garantir a execução eficiente dos pipelines de BI. O ajuste envolve entender limites de paralelismo, tuning do banco de metadados e o impacto dessas escolhas no desempenho do Scheduler.

Conta gratuita