Posso usar o KubernetesExecutor em clusters pequenos?

Pode, mas o benefício é maior em clusters com elasticidade real. Em ambientes pequenos, o overhead pode superar o ganho.

Como limito o número de tasks simultâneas?

Ajuste o parâmetro 'parallelism' e 'max_active_runs_per_dag' no airflow.cfg.

Preciso de um pod template diferente para cada DAG?

Não obrigatoriamente. Use o template padrão e personalize por DAG/tarefa via 'executor_config' quando necessário.

O Airflow escala nodes automaticamente?

Não. O Airflow escala pods, mas a elasticidade de nodes depende do Cluster Autoscaler do Kubernetes.

Entrar ou criar conta

DataOps para BI: orquestração e automação com Apache Airflow

Escalando com Kubernetes: Executor, pod templates e auto scaling

Em resumo

O Apache Airflow pode escalar horizontalmente usando o KubernetesExecutor, que lança tarefas como pods independentes. Com pod templates e auto scaling, é possível adaptar a capacidade automaticamente à demanda, mas há desafios de configuração e limitações do modelo que exigem atenção.

Conta gratuita