Posso usar Airflow para processar dados em tempo real?

Não. Airflow é orientado a batch, com latência de minutos. Para streaming, use ferramentas como Apache Flink ou Kafka Streams.

Airflow substitui ferramentas ETL?

Não. Ele orquestra pipelines, mas o processamento é feito por scripts ou engines externos.

Preciso saber Python para usar Airflow?

Sim. DAGs são definidos como código Python.

Airflow armazena dados do pipeline?

Não. Ele só armazena metadados e logs, não os dados processados.

Apache Airflow: o que é, para que serve e onde não usar

Em resumo

O Apache Airflow é uma plataforma de orquestração de workflows para automação de pipelines de dados, essencial em DataOps e BI moderno. Ele brilha na coordenação de tarefas complexas, mas não é a solução universal para todo tipo de processamento de dados.

Conta gratuita