Laboratório: Cluster Elasticsearch Básico com Ingestão e Busca de Dados

Duração estimada

120 min

Passos

14

Validações

5

Versões da documentação consultada

Elasticsearch 8.13 · Kibana 8.13 · Logstash 8.13

Topologia

Uma máquina virtual ou física (192.168.56.10) executando Elasticsearch, Kibana e Logstash. O usuário interage via terminal (SSH/local) e navegador (localhost:5601). Logstash envia dados para o Elasticsearch. Kibana acessa o Elasticsearch para visualização e buscas.

┌─────────────┐       ┌─────────────┐
│ Usuário/    │       │  Navegador │
│ Terminal    │──────▶│  (Kibana)  │
└─────┬───────┘       └─────┬──────┘
      │                     │
      ▼                     ▼
┌────────────────────────────────────┐
│   VM/Servidor (192.168.56.10)     │
│ ┌──────────┐  ┌──────────┐         │
│ │Logstash  │→ │Elasticsearch│↔│Kibana│ │
└────────────────────────────────────┘

Equipamentos e software

Roteiro

1. Preparação do Ambiente

   Atualize o sistema e instale dependências. Isso garante compatibilidade e segurança.

   sudo apt update && sudo apt upgrade -y
   sudo apt install -y openjdk-17-jdk wget apt-transport-httpsCopiar

   O que você deve ver: Sistema atualizado e Java instalado (java -version mostra OpenJDK 17).

2. Adicione o repositório Elastic

   O Elasticsearch e suas ferramentas são distribuídos via repositório próprio. Adicione a chave e o repositório.

   wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
   echo "deb https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-8.x.list
   sudo apt updateCopiar

   O que você deve ver: Repositório Elastic adicionado sem erros.

3. Instale o Elasticsearch

   Instale o Elasticsearch, núcleo do cluster.

   sudo apt install -y elasticsearchCopiar

   O que você deve ver: Pacote instalado. 'elasticsearch' disponível em /usr/share/elasticsearch.

4. Configure o Elasticsearch

   Ajuste o arquivo de configuração para modo nó único, ideal para laboratório.

   sudo sed -i 's/#network.host: 192.168.0.1/network.host: 0.0.0.0/' /etc/elasticsearch/elasticsearch.yml
   sudo sed -i 's/#discovery.type: single-node/discovery.type: single-node/' /etc/elasticsearch/elasticsearch.ymlCopiar

   O que você deve ver: Arquivo /etc/elasticsearch/elasticsearch.yml com network.host: 0.0.0.0 e discovery.type: single-node.

5. Inicie e habilite o Elasticsearch

   Inicie o serviço e configure para iniciar automaticamente.

   sudo systemctl daemon-reload
   sudo systemctl enable --now elasticsearchCopiar

   O que você deve ver: Serviço ativo (systemctl status elasticsearch mostra 'active (running)').

6. Instale o Kibana

   Kibana é a interface web para buscas e visualização.

   sudo apt install -y kibanaCopiar

   O que você deve ver: Pacote instalado. 'kibana' disponível em /usr/share/kibana.

7. Configure o Kibana

   Ajuste o Kibana para aceitar conexões locais.

   sudo sed -i 's/#server.host: "localhost"/server.host: "0.0.0.0"/' /etc/kibana/kibana.ymlCopiar

   O que você deve ver: Arquivo /etc/kibana/kibana.yml com server.host: "0.0.0.0".

8. Inicie e habilite o Kibana

   Inicie o serviço e configure para iniciar automaticamente.

   sudo systemctl enable --now kibanaCopiar

   O que você deve ver: Serviço ativo (systemctl status kibana mostra 'active (running)').

9. Instale o Logstash

   Logstash é usado para ingestão de dados, estruturados ou não.

   sudo apt install -y logstashCopiar

   O que você deve ver: Pacote instalado. 'logstash' disponível em /usr/share/logstash.

10. Crie um pipeline de ingestão no Logstash

    Configure o Logstash para importar um arquivo CSV de exemplo para o Elasticsearch.

    echo 'id,nome,descricao
    1,Servidor,Servidor dedicado
    2,Switch,Switch gerenciável' > ~/equipamentos.csv
    echo 'input {
      file {
        path => "/home/$USER/equipamentos.csv"
        start_position => "beginning"
        sincedb_path => "/dev/null"
      }
    }
    filter {
      csv {
        separator => ","
        columns => ["id","nome","descricao"]
      }
      mutate {convert => {"id" => "integer"}}
    }
    output {
      elasticsearch {
        hosts => ["localhost:9200"]
        index => "inventario"
      }
      stdout {}
    }' > ~/logstash-inventario.confCopiar

    O que você deve ver: Arquivo ~/logstash-inventario.conf criado com pipeline de ingestão.

11. Execute o pipeline do Logstash

    Rode o Logstash para importar os dados do CSV.

    sudo /usr/share/logstash/bin/logstash -f ~/logstash-inventario.confCopiar

    O que você deve ver: Saída no terminal mostrando eventos processados e enviados ao Elasticsearch.

12. Acesse o Kibana

    Abra o navegador em http://localhost:5601. Kibana permite buscas e visualização dos dados.

    O que você deve ver: Interface do Kibana carregando. Tela inicial disponível.

13. Configure o índice no Kibana

    No menu 'Management' > 'Stack Management' > 'Index Patterns', crie o padrão 'inventario*'.

    O que você deve ver: Index pattern criado. Kibana reconhece o índice 'inventario'.

14. Realize buscas e visualize dados

    No menu 'Discover', busque por nome:Servidor ou descrição:dedicado.

    O que você deve ver: Resultados exibidos na tela, mostrando os registros importados.

Como saber que funcionou

Troubleshooting

Segurança e hardening

• Nunca exponha as portas 9200 e 5601 para a internet sem autenticação e TLS
• Use firewall para restringir acesso às portas do Elasticsearch e Kibana
• Não utilize dados sensíveis em ambientes de laboratório
• Revise permissões dos arquivos de configuração e dados

Checklist final

• Sistema atualizado e Java instalado
• Elasticsearch, Kibana e Logstash instalados
• Serviços ativos e acessíveis
• Pipeline do Logstash executado sem erros
• Índice 'inventario' criado e visível
• Dados buscáveis via Kibana e curl