Módulo
Arquitetura
Explora a arquitetura detalhada do Hadoop e de um Data Lake moderno, cobrindo componentes, fluxos e integrações.
- 01HDFS, NameNode e DataNode: como o armazenamento distribuído realmente funcionaO HDFS é o sistema de arquivos distribuído do Hadoop. Ele separa o controle (NameNode) do armazenamento físico (DataNode), garantindo alta disponibilidade e tolerância a falhas por meio de replicação. Entender esses papéis é essencial para operar e otimizar data lakes modernos.
- 02Metadados, Catálogo e Hive: onde a mágica da consulta aconteceO Hive transforma arquivos brutos do HDFS em tabelas consultáveis via SQL, graças ao Metastore e ao catálogo de dados. Entender como o Hive organiza metadados e diferencia tabelas internas e externas é fundamental para consultas eficientes e governança no Data Lake.
