Partage de technologie

Configurer l'expérience Kafka du gardien de zoo ELK Filebead

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Table des matières

1. Déployer Filebeat

2. Configuration du stockage de journaux

3. Vérification de l'accès au navigateur Kibana


Nom du processeuradresse IPLogiciel principal
es01192.168.9.114Recherche élastique
es02192.168.9.115Recherche élastique
es03192.168.9.116ElasticSearch, Kibana
nginx01192.168.9.113nginx, Logstash
N / A192.168.9.111nginx, Filebeat
N / A192.168.9.210Gardien de zoo, Kafka
N / A192.168.9.120Gardien de zoo, Kafka
N / A192.168.9.140Gardien de zoo, Kafka

ELK, Filebead, zookeeper, kafka peuvent être construits pour interroger les blogs précédents

1. Déployer Filebeat

  1. cd /usr/local/filebeat
  2. vim filebeat.yml
  3. 注释162164行内容
  4. 163行起添加
  5. output.kafka:
  6. enabled: true
  7. hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"] #指定 Kafka 集群配置
  8. topic: "nginx" #指定 Kafka 的 topic
  9. ————————————

Le navigateur accède à filebeat et génère de nouvelles données de journal

http://192.168.9.111/test.html, http://192.168.9.111/test1.html、http://192.168.9.111/

  1. 启动 filebeat
  2. ./filebeat -e -c filebeat.yml

2. Configuration du stockage de journaux

  1. cd /etc/logstash/conf.d/
  2. vim kafka.conf
  3. input {
  4. kafka {
  5. bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
  6. topics => "nginx"
  7. type => "nginx_kafka"
  8. auto_offset_reset => "latest"
  9. }
  10. }
  11. #filter {}
  12. output {
  13. elasticsearch {
  14. hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
  15. index => "nginx_kafka-%{+yyyy.MM.dd}"
  16. }
  17. }
  18. logstash -t -f kafka.conf
  19. logstash -f kafka.conf

3. Vérification de l'accès au navigateur Kibana

Visitez http://192.168.9.116:5601 avec le navigateur, connectez-vous à Kibana, cliquez sur le bouton [Gérer] [Mode Créer un index], recherchez [nginx_kafka-*], cliquez sur le bouton [Suivant] pour créer, sélectionnez le [ @timestamp], [Créer un mode d'index] ; vous pouvez afficher les informations du graphique et les informations du journal.