Treinamento 02 · Trilha Dados · Upnetix Learning Center

Implantação de Data Lakes com Apache Hadoop.

Você projeta, implanta e governa Data Lakes com Apache Hadoop, cobrindo arquitetura, segurança, automação e integração com BI.

Código aberto: Apache Hadoop (código aberto, licença Apache 2.0)

Implantação de Data Lakes com Apache Hadoop
Trilha Dados · Upnetix Learning Center

Mapa do treinamento · 15 módulos, do conceito ao estado da arte

  1. 1ConceitosEntender · 2 lições
  2. 2ArquiteturaEntender · 2 lições
  3. 3ProjetoProjetar · 2 lições
  4. 4DimensionamentoProjetar · 2 lições
  5. 5ImplementaçãoConstruir · 2 lições
  6. 6ConfiguraçãoConstruir · 2 lições
  7. 7IntegraçãoConstruir · 2 lições
  8. 8SegurançaProteger · 2 lições
  9. 9MonitoramentoOperar · 2 lições
  10. 10TroubleshootingOperar · 2 lições
  11. 11AutomaçãoAutomatizar · 2 lições
  12. 12EscalabilidadeEscalar · 2 lições
  13. 13Boas práticasConsolidar · 2 lições
  14. 14Casos reaisConsolidar · 2 lições
  15. 15Estado da arteEvoluir · 2 lições
Módulos
15
Lições
30
Carga horária
24 h
Nível ULC
ULC 400 · Arquitetura e escala
Credencial
Credencial de Conclusão ULC com êxito de 80% ou mais
Para quem
Analista, Engenheiro, Gestor
Tecnologias
Apache Airflow, Apache Hadoop, Apache Hive, Apache Ranger, HDFS
Faz parte dos kits
Automação e DevOpsDadosGovernança e LGPD

Você estrutura e gerencia Data Lakes em ambientes distribuídos com Apache Hadoop. O curso parte dos conceitos e chega à governança e integração com BI.

O que você vai fazer

  • Diferenciar Data Lake de Data Warehouse para definir arquitetura e projeto.
  • Configurar HDFS, NameNode e DataNode para armazenamento distribuído.
  • Implementar ingestão de dados e consultas usando Hive.
  • Controlar acesso e proteger dados com autenticação, criptografia e Apache Ranger.
  • Automatizar pipelines e cargas com Airflow e monitorar operações críticas.

Como o curso funciona

Quinze módulos, trinta lições, seguindo a ordem do ciclo de vida do Data Lake. Cada lição termina com validação do resultado ou checagem de configuração.

Para quem

Analistas, engenheiros e gestores de dados que atuam em ambientes de médio a grande porte.

Começar pela primeira lição

Ementa

  1. 01ConceitosDesmistifica o que é Data Lake, sua diferença para Data Warehouse e os fundamentos do ecossistema Hadoop.2 lições
  2. 02ArquiteturaExplora a arquitetura detalhada do Hadoop e de um Data Lake moderno, cobrindo componentes, fluxos e integrações.2 lições
  3. 03ProjetoEnsina a planejar um Data Lake eficiente, desde requisitos até escolha de ferramentas e layout de dados.2 lições
  4. 04DimensionamentoAborda como dimensionar recursos de hardware, rede e software para escalabilidade e performance.2 lições
  5. 05ImplementaçãoGuia a instalação e configuração inicial do cluster Hadoop e seus principais componentes.2 lições
  6. 06ConfiguraçãoAprofunda na configuração fina dos componentes para garantir segurança, performance e resiliência.2 lições
  7. 07IntegraçãoMostra como integrar o Data Lake a outras ferramentas e fluxos de dados corporativos.2 lições
  8. 08SegurançaEnsina a proteger dados e acessos no Data Lake, cobrindo autenticação, autorização e auditoria.2 lições
  9. 09MonitoramentoApresenta técnicas e ferramentas para monitorar saúde, performance e segurança do Data Lake.2 lições
  10. 10TroubleshootingEnsina a diagnosticar e resolver problemas comuns e críticos em Data Lakes Hadoop.2 lições
  11. 11AutomaçãoMostra como automatizar operações, deploys e tarefas recorrentes no Data Lake.2 lições
  12. 12EscalabilidadeExplora técnicas para escalar o Data Lake horizontal e verticalmente, mantendo performance e controle.2 lições
  13. 13Boas práticasConsolida práticas recomendadas para operação, documentação e evolução do Data Lake.2 lições
  14. 14Casos reaisApresenta exemplos concretos de Data Lakes Hadoop em produção, desafios e soluções.2 lições
  15. 15Estado da arteAtualiza sobre tendências, inovações e o futuro dos Data Lakes open source.2 lições

No radar do Atlas

Credencial de Conclusão ULC

Ao responder às avaliações de todas as lições com 80% de êxito ou mais, você emite a credencial: número verificável, QR, hash de integridade, versão do conteúdo, lições concluídas e taxa de êxito. Abaixo disso, repita as avaliações.

Para emitir, entre na sua conta.

Esta credencial é emitida pelo Upnetix Learning Center como registro de conclusão e participação nas atividades indicadas. O ULC é uma iniciativa privada de compartilhamento de conhecimento técnico da Upnetix e não se apresenta como instituição de ensino, entidade certificadora profissional ou organismo de acreditação. A credencial não confere grau acadêmico, habilitação profissional, título técnico, licença ou registro perante conselho profissional ou órgão público.