Teknologian jakaminen

Määritä ELK Filebead zookeeper kafka -kokeilu

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Sisällysluettelo

1. Ota Filebeat käyttöön

2. Logstash-kokoonpano

3. Selaimen kibana pääsyn vahvistus


CPU:n nimiIP-osoitePääohjelmisto
es01192.168.9.114ElasticSearch
es02192.168.9.115ElasticSearch
es03192.168.9.116ElasticSearch, Kibana
nginx01192.168.9.113nginx, Logstash
NA192.168.9.111nginx, Filebeat
NA192.168.9.210Eläintarhanhoitaja, Kafka
NA192.168.9.120Eläintarhanhoitaja, Kafka
NA192.168.9.140Eläintarhanhoitaja, Kafka

ELK, Filebead, zookeeper, kafka voidaan rakentaa aikaisempien blogien kyselyyn

1. Ota Filebeat käyttöön

  1. cd /usr/local/filebeat
  2. vim filebeat.yml
  3. 注释162164行内容
  4. 163行起添加
  5. output.kafka:
  6. enabled: true
  7. hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"] #指定 Kafka 集群配置
  8. topic: "nginx" #指定 Kafka 的 topic
  9. ————————————

Selain käyttää filebeatia ja luo uusia lokitietoja

http://192.168.9.111/test.html、http://192.168.9.111/test1.html、http://192.168.9.111/

  1. 启动 filebeat
  2. ./filebeat -e -c filebeat.yml

2. Logstash-kokoonpano

  1. cd /etc/logstash/conf.d/
  2. vim kafka.conf
  3. input {
  4. kafka {
  5. bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
  6. topics => "nginx"
  7. type => "nginx_kafka"
  8. auto_offset_reset => "latest"
  9. }
  10. }
  11. #filter {}
  12. output {
  13. elasticsearch {
  14. hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
  15. index => "nginx_kafka-%{+yyyy.MM.dd}"
  16. }
  17. }
  18. logstash -t -f kafka.conf
  19. logstash -f kafka.conf

3. Selaimen kibana pääsyn vahvistus

Siirry selaimella osoitteeseen http://192.168.9.116:5601, kirjaudu sisään Kibanaan, napsauta [Manage]-painiketta [Create Index Mode], hae [nginx_kafka-*], napsauta [Seuraava]-painiketta luodaksesi, valitse [ @timestamp] -painike, [ Luo hakemistotila], voit tarkastella kaavio- ja lokitietoja.