Technologieaustausch

Richten Sie das ELK Filebead Zookeeper Kafka-Experiment ein

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Inhaltsverzeichnis

1. Stellen Sie Filebeat bereit

2. Logstash-Konfiguration

3. Überprüfung des Browser-Kibana-Zugriffs


CPU-NameIP AdresseHauptsoftware
es01192.168.9.114ElasticSearch
es02192.168.9.115ElasticSearch
es03192.168.9.116ElasticSearch, Kibana
nginx01192.168.9.113nginx, Logstash
N / A192.168.9.111nginx, Filebeat
N / A192.168.9.210Zookeeper, Kafka
N / A192.168.9.120Zookeeper, Kafka
N / A192.168.9.140Zookeeper, Kafka

ELK, Filebead, Zookeeper und Kafka können erstellt werden, um frühere Blogs abzufragen

1. Stellen Sie Filebeat bereit

  1. cd /usr/local/filebeat
  2. vim filebeat.yml
  3. 注释162164行内容
  4. 163行起添加
  5. output.kafka:
  6. enabled: true
  7. hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"] #指定 Kafka 集群配置
  8. topic: "nginx" #指定 Kafka 的 topic
  9. ————————————

Der Browser greift auf Filebeat zu und generiert neue Protokolldaten

http://192.168.9.111/test.html、http://192.168.9.111/test1.html、http://192.168.9.111/

  1. 启动 filebeat
  2. ./filebeat -e -c filebeat.yml

2. Logstash-Konfiguration

  1. cd /etc/logstash/conf.d/
  2. vim kafka.conf
  3. input {
  4. kafka {
  5. bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
  6. topics => "nginx"
  7. type => "nginx_kafka"
  8. auto_offset_reset => "latest"
  9. }
  10. }
  11. #filter {}
  12. output {
  13. elasticsearch {
  14. hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
  15. index => "nginx_kafka-%{+yyyy.MM.dd}"
  16. }
  17. }
  18. logstash -t -f kafka.conf
  19. logstash -f kafka.conf

3. Überprüfung des Browser-Kibana-Zugriffs

Besuchen Sie http://192.168.9.116:5601 mit dem Browser, melden Sie sich bei Kibana an, klicken Sie auf die Schaltfläche [Verwalten], [Indexmodus erstellen], suchen Sie nach [nginx_kafka-*], klicken Sie zum Erstellen auf die Schaltfläche [Weiter] und wählen Sie [ @timestamp]-Schaltfläche, [Indexmodus erstellen]; Sie können Diagramminformationen und Protokollinformationen anzeigen.