Módulo
Dimensionamento
Aborda como planejar recursos e dimensionar o Airflow para diferentes demandas de BI.
- 01Dimensionando recursos: workers, conexões e banco de metadadosDimensionar corretamente workers, conexões e banco de metadados no Apache Airflow é fundamental para evitar gargalos e garantir a execução eficiente dos pipelines de BI. O ajuste envolve entender limites de paralelismo, tuning do banco de metadados e o impacto dessas escolhas no desempenho do Scheduler.
- 02Escolhendo executores: Sequential, Local, Celery e KubernetesA escolha do executor do Apache Airflow define o quanto sua orquestração escala, o nível de paralelismo e a complexidade operacional. Sequential serve para testes, Local para workloads simples, Celery para ambientes distribuídos e Kubernetes para máxima elasticidade.
Voltar ao curso DataOps para BI: orquestração e automação com Apache Airflow
