Compartilhamento de tecnologia

Configurar o experimento ELK Filebead zookeeper kafka

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Índice

1. Implante o Filebeat

2. Configuração do Logstash

3. Verificação de acesso ao navegador kibana


Nome da CPUendereço de IPSoftware principal
es01192.168.9.114Pesquisa Elástica
es02192.168.9.115Pesquisa Elástica
es03192.168.9.116Pesquisa elástica, Kibana
nginx01192.168.9.113nginx, logstash
N / D192.168.9.111nginx, Filebeat
N / D192.168.9.210Tratador do zoológico, Kafka
N / D192.168.9.120Tratador do zoológico, Kafka
N / D192.168.9.140Tratador do zoológico, Kafka

ELK, Filebead, zookeeper, kafka podem ser criados para consultar blogs anteriores

1. Implante o Filebeat

  1. cd /usr/local/filebeat
  2. vim filebeat.yml
  3. 注释162164行内容
  4. 163行起添加
  5. output.kafka:
  6. enabled: true
  7. hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"] #指定 Kafka 集群配置
  8. topic: "nginx" #指定 Kafka 的 topic
  9. ————————————

O navegador acessa o filebeat e gera novos dados de log

http://192.168.9.111/teste.html、http://192.168.9.111/teste1.html、http://192.168.9.111/

  1. 启动 filebeat
  2. ./filebeat -e -c filebeat.yml

2. Configuração do Logstash

  1. cd /etc/logstash/conf.d/
  2. vim kafka.conf
  3. input {
  4. kafka {
  5. bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
  6. topics => "nginx"
  7. type => "nginx_kafka"
  8. auto_offset_reset => "latest"
  9. }
  10. }
  11. #filter {}
  12. output {
  13. elasticsearch {
  14. hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
  15. index => "nginx_kafka-%{+yyyy.MM.dd}"
  16. }
  17. }
  18. logstash -t -f kafka.conf
  19. logstash -f kafka.conf

3. Verificação de acesso ao navegador kibana

Visite http://192.168.9.116:5601 com o navegador, faça login no Kibana, clique no botão [Gerenciar] [Criar modo de índice], pesquise [nginx_kafka-*], clique no botão [Avançar] para criar, selecione o [ @timestamp], [Criar modo de índice]; você pode visualizar informações do gráfico e registrar informações.