Berbagi teknologi

Siapkan eksperimen kafka penjaga kebun binatang ELK Filebead

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Daftar isi

1. Terapkan Filebeat

2. Konfigurasi logstash

3. Verifikasi akses browser kibana


nama CPUalamat IPPerangkat lunak utama
bahasa inggris01192.168.9.114Pencarian Elastis
bahasa inggris02192.168.9.115Pencarian Elastis
bahasa inggris03192.168.9.116ElasticSearch dan Kibana
nginx01192.168.9.113nginx dan Logstash
Bahasa Indonesia192.168.9.111nginx dan Filebeat
Bahasa Indonesia192.168.9.210Penjaga kebun binatang、Kafka
Bahasa Indonesia192.168.9.120Penjaga kebun binatang、Kafka
Bahasa Indonesia192.168.9.140Penjaga kebun binatang、Kafka

ELK, Filebead, zookeeper, kafka dapat dibuat untuk menanyakan blog sebelumnya

1. Terapkan Filebeat

  1. cd /usr/local/filebeat
  2. vim filebeat.yml
  3. 注释162164行内容
  4. 163行起添加
  5. output.kafka:
  6. enabled: true
  7. hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"] #指定 Kafka 集群配置
  8. topic: "nginx" #指定 Kafka 的 topic
  9. ————————————

Browser mengakses filebeat dan menghasilkan data log baru

http://192.168.9.111/uji.html、http://192.168.9.111/test1.html、http://192.168.9.111/

  1. 启动 filebeat
  2. ./filebeat -e -c filebeat.yml

2. Konfigurasi logstash

  1. cd /etc/logstash/conf.d/
  2. vim kafka.conf
  3. input {
  4. kafka {
  5. bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
  6. topics => "nginx"
  7. type => "nginx_kafka"
  8. auto_offset_reset => "latest"
  9. }
  10. }
  11. #filter {}
  12. output {
  13. elasticsearch {
  14. hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
  15. index => "nginx_kafka-%{+yyyy.MM.dd}"
  16. }
  17. }
  18. logstash -t -f kafka.conf
  19. logstash -f kafka.conf

3. Verifikasi akses browser kibana

Kunjungi http://192.168.9.116:5601 dengan browser, login ke Kibana, klik tombol [Kelola] [Buat Mode Indeks], cari [nginx_kafka-*], klik tombol [Berikutnya] untuk membuat, pilih [ @timestamp] tombol, [ Buat mode indeks]; Anda dapat melihat informasi grafik dan informasi log.