117 roteiros com comandos
Passo a passo extraído das lições da trilha Dados, com comandos e arquivos de configuração reais. Filtre por palavra e vá direto à implementação.
- 5 passos · 5 com comandosAirflow orquestrando pipelines: do ETL ao machine learningComeça por: Instalar o Apache Airflow
- 6 passos · 6 com comandosAjustando produtores e consumidores para alta performanceComeça por: Defina o batch.size do produtor
- 5 passos · 4 com comandosApache Ranger: controle fino de acesso em escalaComeça por: Preparar o ambiente e o banco de dados
- 5 passos · 4 com comandosAuditoria e rastreabilidade: quem fez o quê, quando e ondeComeça por: Ativar logs de auditoria no HDFS
- 5 passos · 5 com comandosAutenticação e autorização: usuários, papéis e permissõesComeça por: Habilite o módulo de segurança
- 5 passos · 5 com comandosAutenticação, criptografia e masking: camadas essenciais de proteçãoComeça por: Configurar Kerberos no Hadoop
- 5 passos · 5 com comandosAutenticação, SSL e pg_hba.conf: blindando conexões e acessosComeça por: Gerar certificado SSL para o servidor
- 5 passos · 5 com comandosAutomatizando deploys e upgrades: Ansible e scripts shell na práticaComeça por: Preparar inventário Ansible
- 5 passos · 5 com comandosAutomatizando deploys e upgrades: menos erro, mais controleComeça por: Definir inventário de hosts
- 5 passos · 4 com comandosBackup e restore automáticos: pg_dump, pg_basebackup e cronComeça por: Escolha o tipo de backup
- 5 passos · 5 com comandosBackup, snapshots e recuperação: não confie só na replicaçãoComeça por: Habilitar snapshots em um diretório crítico
- 5 passos · 5 com comandosBusca full-text em milhões de documentos: lições de clusters em produçãoComeça por: Planejar o particionamento de shards
- 5 passos · 5 com comandosBusca lenta, heap full, GC: atacando problemas de performance na raizComeça por: Verificar uso de heap e pausas de GC
- 5 passos · 5 com comandosBuscas semânticas, vetores e NLP: o que já é possível com Elasticsearch open sourceComeça por: Gerar embeddings do texto
- 5 passos · 1 com comandosCalculando storage, memória e CPU: dimensionamento que evita gargaloComeça por: Calcule o volume real de dados
- 5 passos · 3 com comandosCalculando throughput, latência e armazenamentoComeça por: Estime o throughput de entrada
- 5 passos · 4 com comandosCluster Kafka: brokers, Zookeeper e replicaçãoComeça por: Planejar o número de brokers e Zookeepers
- 5 passos · 4 com comandosCluster, nó, shard e réplica: como o Elasticsearch distribui dados e buscaComeça por: Defina o nome do cluster e dos nós
- 5 passos · 2 com comandosClusters Kafka em múltiplos datacenters e replicação geográficaComeça por: Planeje a topologia dos clusters
- 5 passos · 5 com comandosConceitos-chave: tópicos, partições, brokers e consumidoresComeça por: Identifique os tópicos existentes
- 5 passos · 4 com comandosControle de acesso: permissões e ACLs no KafkaComeça por: Definir o principal (usuário ou serviço)
- 5 passos · 5 com comandosCorrupt blocks, falhas de ingestão e outros pesadelos: solução na práticaComeça por: Detectar blocos corrompidos no HDFS
- 5 passos · 5 com comandosCPU, RAM, disco e rede: o que realmente limita a performance do ElasticsearchComeça por: Verificar uso de heap e GC
- 5 passos · 5 com comandosCriando bancos, roles e permissões: estrutura mínima para desenvolvimentoComeça por: Criar o database de desenvolvimento
- 5 passos · 5 com comandosCriptografia em trânsito e em repouso: protegendo dados sensíveisComeça por: Gerar certificados TLS
- 5 passos · 4 com comandosData Lake em telecom: ingestão massiva e analytics em tempo quase realComeça por: Configurar ingestão com Flume
- 5 passos · 4 com comandosData Lake multi-setor: lições de integração e governançaComeça por: Mapeie fontes e formatos de cada setor
- 4 passos · 3 com comandosData Lake não é Data Warehouse: diferenças que mudam o projetoComeça por: Identifique o tipo de dado e objetivo do projeto
- 5 passos · 4 com comandosData Lakehouse, Iceberg e o futuro do Hadoop: o que acompanhar agoraComeça por: Avalie o estado atual do seu data lake
- 5 passos · 2 com comandosDefinindo tópicos e partições para performance e resiliênciaComeça por: Defina o throughput e paralelismo necessários
- 5 passos · 3 com comandosDesign de índices: estratégias para grandes volumes e múltiplos casos de usoComeça por: Estime o volume de dados diário
- 5 passos · 5 com comandosDiagnóstico de lentidão: EXPLAIN, índices e vacuum fora do lugarComeça por: Identifique queries lentas
- 5 passos · 5 com comandosDiagnóstico de problemas comuns: brokers, tópicos e consumidoresComeça por: Verifique os logs do Kafka e Zookeeper
- 5 passos · 5 com comandosDocumentação viva: como não perder o controle do seu Data LakeComeça por: Estruture o repositório de documentação
- 5 passos · 5 com comandosDocumentos, JSONB e arrays: quando (e como) usar estruturas não relacionaisComeça por: Adicionar coluna JSONB em uma tabela
- 5 passos · 5 com comandosDrivers, strings de conexão e pooling: conectando aplicações sem dor de cabeçaComeça por: Escolha e instale o driver adequado
- 5 passos · 4 com comandosElastic Stack em ambientes de alta disponibilidade e multi-cloudComeça por: Planeje a topologia do cluster
- 5 passos · 5 com comandoselasticsearch.yml sem mistério: as opções que realmente importamComeça por: Definir nome do cluster e do nó
- 5 passos · 5 com comandosErros de shard, split brain e cluster red: causas e soluções reaisComeça por: Diagnosticar shards não alocados
- 5 passos · 5 com comandosEscalabilidade vertical e tuning fino: extraindo o máximo do hardwareComeça por: Verifique o uso atual de heap
- 5 passos · 5 com comandosEscalando horizontalmente: adicionando nós sem perder performanceComeça por: Verifique o estado atual do cluster
- 5 passos · 2 com comandosEscalando tópicos, partições e consumidoresComeça por: Avalie a necessidade de escalabilidade
- 5 passos · 2 com comandosEscolhendo componentes: quando usar Hive, Ranger e Airflow no seu Data LakeComeça por: Mapeie requisitos de acesso e processamento
- 5 passos · 4 com comandosExtensões avançadas: PostGIS, pg_partman e Citus (open-source)Começa por: Identifique a versão do PostgreSQL
- 5 passos · 4 com comandosExtensões e integrações avançadas: Kafka Connect, Streams e alémComeça por: Escolher o conector adequado
- 5 passos · 4 com comandosFerramentas open source para monitoramento de KafkaComeça por: Preparar o ambiente
- 5 passos · 4 com comandosFerramentas open-source de monitoramento: do pganalyze ao prometheus-postgres-exporterComeça por: Instalar o postgres_exporter
- 5 passos · 5 com comandosFluxos de dados: do produtor ao consumidorComeça por: Criar um tópico com retenção personalizada
- 5 passos · 5 com comandosGerenciamento de índices: criação, rotação e exclusão automatizadaComeça por: Definir política ILM
- 5 passos · 3 com comandosGovernança de dados e versionamento de schemasComeça por: Instale e configure o Schema Registry
- 5 passos · 2 com comandosGovernança de dados: qualidade, linhagem e compliance na práticaComeça por: Definir regras de qualidade de dados
- 5 passos · 5 com comandosHDFS, NameNode e DataNode: como o armazenamento distribuído realmente funcionaComeça por: Verifique o status do NameNode
- 5 passos · 4 com comandosÍndice invertido, relevância e análise: o motor real do ElasticsearchComeça por: Defina o analisador do campo
- 5 passos · 4 com comandosÍndices, shards e mapeamentos: padrões que evitam dor de cabeça no futuroComeça por: Defina naming conventions claras
- 5 passos · 4 com comandosÍndices, vacuum e autovacuum: o que consome espaço e como preverComeça por: Identifique os maiores consumidores de espaço
- 6 passos · 6 com comandosInstalação do PostgreSQL no Linux: do repositório à primeira conexãoComeça por: Adicionar o repositório oficial
- 5 passos · 5 com comandosInstalação real: do download à configuração inicial em ambiente LinuxComeça por: Baixar o Elasticsearch e validar integridade
- 6 passos · 6 com comandosInstalando Apache Kafka e Zookeeper do zeroComeça por: Baixar o Kafka
- 7 passos · 7 com comandosInstalando HDFS e Hive na prática: do zero ao primeiro dadoComeça por: Preparar o ambiente Linux e instalar Java
- 5 passos · 5 com comandosIntegração com BI e analytics: conectando Hive ao mundo externoComeça por: Instalar o driver JDBC ou ODBC do Hive
- 5 passos · 2 com comandosIntegração de Kafka com bancos de dados e aplicações legadasComeça por: Mapear fontes e destinos de dados
- 5 passos · 4 com comandosJob scheduling e automação de cargas: Airflow além do básicoComeça por: Defina o DAG e o agendamento
- 5 passos · 4 com comandosKafka Connect: integrando bancos de dados relacionais e NoSQLComeça por: Escolha do conector
- 5 passos · 5 com comandosKafka em ambientes de alta disponibilidade e missão críticaComeça por: Definir replicação adequada
- 5 passos · 5 com comandosKafka sem Zookeeper: KRaft e a nova arquiteturaComeça por: Verifique a versão do Kafka
- 5 passos · 5 com comandosKafka Streams: processamento de eventos em tempo realComeça por: Adicionar dependência Kafka Streams ao projeto
- 6 passos · 6 com comandosKibana e Logstash: instalando e conectando ao ElasticsearchComeça por: Adicionar repositórios oficiais
- 5 passos · 1 com comandosKibana Monitoring: visualizando saúde e métricas do clusterComeça por: Habilite a coleta de métricas no Elasticsearch
- 5 passos · 3 com comandosLayout de dados e particionamento: o que decide performance e custoComeça por: Definir o critério de particionamento
- 5 passos · 4 com comandosLogs e métricas no detalhe: o que olhar quando algo sai do normalComeça por: Acesse os logs do Elasticsearch
- 5 passos · 5 com comandosLogstash pipelines: ingestão de dados estruturados e não estruturadosComeça por: Definir inputs para cada fonte de dados
- 5 passos · 3 com comandosMapeamento e tipagem: como modelar dados para performance e relevânciaComeça por: Levante os requisitos de busca
- 5 passos · 4 com comandosMaster, data e ingest: papéis dos nós e como eles impactam a performanceComeça por: Definir papéis dos nós no elasticsearch.yml
- 5 passos · 4 com comandosMensagens não entregues: rastreando e corrigindo falhasComeça por: Verifique configurações do produtor
- 5 passos · 5 com comandosMetadados, Catálogo e Hive: onde a mágica da consulta aconteceComeça por: Verifique o status do Metastore
- 5 passos · 5 com comandosMétricas essenciais: lag, throughput e uso de recursosComeça por: Habilite métricas JMX no Kafka
- 5 passos · 4 com comandosMigração de MySQL para PostgreSQL: lições de um projeto realComeça por: Mapear tipos de dados
- 5 passos · 3 com comandosModelando mensagens e contratos de dadosComeça por: Escolha o formato de mensagem
- 5 passos · 4 com comandosMonitoramento de infraestrutura: logs, métricas e alertas em tempo realComeça por: Configurar Logstash para coletar logs
- 5 passos · 5 com comandosMonitorando HDFS e Hive: métricas que você não pode ignorarComeça por: Coletar métricas do NameNode via JMX
- 5 passos · 5 com comandosMulti-tenancy e isolamento: Data Lake para vários times sem caosComeça por: Crie diretórios isolados no HDFS
- 5 passos · 5 com comandosNameNode down, jobs travados: diagnóstico rápido sem pânicoComeça por: Identifique o status do NameNode
- 5 passos · 1 com comandosNaming, versionamento e migrações: banco limpo, time felizComeça por: Definir padrão de nomenclatura
- 5 passos · 2 com comandosNormalização na prática: tabelas, tipos e constraints para evitar armadilhasComeça por: Definir entidades e relacionamentos
- 5 passos · 5 com comandosO ciclo de vida de uma transação: do comando ao commitComeça por: Verifique o modo de commit
- 4 passos · 4 com comandosOpen source além do Hadoop: interoperabilidade e ecossistema em expansãoComeça por: Crie uma tabela Parquet no Hive
- 5 passos · 5 com comandosOperação segura e eficiente de clusters KafkaComeça por: Monitorar uso de disco dos brokers
- 6 passos · 6 com comandosParâmetros críticos do HDFS e Hive: ajuste para produçãoComeça por: Definir fator de replicação adequado
- 5 passos · 5 com comandosParâmetros essenciais: retenção, compactação e limitesComeça por: Definir retenção por tempo e tamanho
- 5 passos · 4 com comandosParticionamento e sharding: dividindo para conquistarComeça por: Planeje o critério de particionamento
- 5 passos · 5 com comandospg_stat_activity, pg_stat_replication e logs: onde achar problemas antes que virem desastreComeça por: Ative logs detalhados
- 5 passos · 3 com comandospgAdmin e psql: administração visual e por linha de comandoComeça por: Instalar o pgAdmin
- 5 passos · 5 com comandosPlanejamento de recursos: CPU, memória, disco e redeComeça por: Estimar memória necessária
- 5 passos · 4 com comandosPlanejando espaço e memória: sizing realista para bancos em crescimentoComeça por: Calcule o tamanho atual das tabelas
- 5 passos · 4 com comandosPolítica de backup, disaster recovery e testes de restauraçãoComeça por: Definir política de frequência e retenção
- 5 passos · 2 com comandosPor que bancos relacionais falham na busca: limites do SQL frente ao texto livreComeça por: Identifique o tipo de dado
- 5 passos · 5 com comandosPostgreSQL em alta demanda: tuning e incidentes em uma rede de fibra dedicada como a da UpnetixComeça por: Monitorar queries lentas
- 5 passos · 5 com comandospostgresql.conf e pg_hba.conf: os dois arquivos que decidem tudoComeça por: Localize os arquivos de configuração
- 5 passos · 5 com comandosPrimeira carga: ingestão de dados brutos e validação no HiveComeça por: Criar diretório no HDFS para dados brutos
- 5 passos · 5 com comandosProcessos, shared buffers e WAL: o que roda por trás do seu SELECTComeça por: Verificar processos do PostgreSQL
- 5 passos · 5 com comandosProduzindo e consumindo mensagens na práticaComeça por: Criar um tópico
- 5 passos · 5 com comandosProvisionamento automatizado de clusters KafkaComeça por: Provisionar infraestrutura com Terraform
- 5 passos · 1 com comandosQuantos nós, quantos shards: dimensionando para ingestão e buscaComeça por: Estime o volume de dados diário
- 5 passos · 5 com comandosRecuperação de falhas: corrupção, crash e restaurando a confiançaComeça por: Identifique sintomas de corrupção
- 5 passos · 5 com comandosRecursos recentes: paralelismo, JIT e melhorias do PostgreSQL 15+Começa por: Ajustar paralelismo no postgresql.conf
- 5 passos · 4 com comandosRede e topologia: latência, throughput e o erro clássico do rack únicoComeça por: Mapeie os racks físicos e switches
- 6 passos · 6 com comandosReplicação nativa: streaming replication, slots e failover manualComeça por: Preparar o primário para replicação
- 5 passos · 5 com comandosREST API na prática: indexação e busca sem intermediáriosComeça por: Indexar um documento com ID automático
- 5 passos · 5 com comandosRoles, privilégios e row-level security: controle granular de acessoComeça por: Criar roles específicas
- 5 passos · 5 com comandosRotinas automáticas: snapshots, restauração e limpeza de índicesComeça por: Registrar o repositório de snapshots
- 5 passos · 5 com comandosRotinas automatizadas de manutenção e backupComeça por: Definir retenção de logs por tempo
- 5 passos · 5 com comandosRotinas de manutenção: VACUUM, reindex e scripts para não perder o sonoComeça por: Verificar status do autovacuum
- 5 passos · 5 com comandosScale-out e balanceamento: adicionando nós sem perder o controleComeça por: Preparar o novo DataNode
- 5 passos · 5 com comandosSSL/TLS e SASL: protegendo dados em trânsito e autenticaçãoComeça por: Gerar keystore e truststore para o broker
- 5 passos · 5 com comandosTestes, versionamento e rollback: como evitar surpresas em produçãoComeça por: Automatize testes de queries
- 5 passos · 5 com comandosTransações, ACID e MVCC: como o PostgreSQL garante integridade e concorrênciaComeça por: Iniciar uma transação
- 5 passos · 2 com comandosTuning inicial: work_mem, maintenance_work_mem, max_connections e checkpoint_timeoutComeça por: Analise o perfil de uso
