Módulo
Escalabilidade
Mostra como escalar o Airflow para grandes volumes e múltiplos times.
- 01Airflow em larga escala: multi-tenant, isolações e limitesEscalar o Apache Airflow para múltiplos times e grandes volumes exige arquitetura multi-tenant, isolamento rigoroso e controle de recursos. Esta lição mostra como aplicar pools, limites, particionamento de DAGs e concorrência para garantir performance e segurança em ambientes compartilhados.
- 02Escalando com Kubernetes: Executor, pod templates e auto scalingO Apache Airflow pode escalar horizontalmente usando o KubernetesExecutor, que lança tarefas como pods independentes. Com pod templates e auto scaling, é possível adaptar a capacidade automaticamente à demanda, mas há desafios de configuração e limitações do modelo que exigem atenção.
Voltar ao curso DataOps para BI: orquestração e automação com Apache Airflow
