技術共有

ELK Filebead Zookeeper Kafka 実験をセットアップする

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

目次

1.Filebeatを導入する

2. Logstash の構成

3. ブラウザーの kibana アクセスの検証


CPU名IPアドレス主なソフトウェア
es01192.168.9.114エラスティックサーチ
es02192.168.9.115エラスティックサーチ
es03192.168.9.116ElasticSearch、キバナ
nginx01192.168.9.113nginx、ログスタッシュ
該当なし192.168.9.111nginx、ファイルビート
該当なし192.168.9.210動物園の飼育係、カフカ
該当なし192.168.9.120動物園の飼育係、カフカ
該当なし192.168.9.140動物園の飼育係、カフカ

ELK、Filebead、Zookeeper、および Kafka は、以前のブログをクエリするために構築されています

1.Filebeatを導入する

  1. cd /usr/local/filebeat
  2. vim filebeat.yml
  3. 注释162164行内容
  4. 163行起添加
  5. output.kafka:
  6. enabled: true
  7. hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"] #指定 Kafka 集群配置
  8. topic: "nginx" #指定 Kafka 的 topic
  9. ————————————

ブラウザが filebeat にアクセスし、新しいログ データを生成します。

http://192.168.9.111/test.html、http://192.168.9.111/test1.html、http://192.168.9.111/

  1. 启动 filebeat
  2. ./filebeat -e -c filebeat.yml

2. Logstash の構成

  1. cd /etc/logstash/conf.d/
  2. vim kafka.conf
  3. input {
  4. kafka {
  5. bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
  6. topics => "nginx"
  7. type => "nginx_kafka"
  8. auto_offset_reset => "latest"
  9. }
  10. }
  11. #filter {}
  12. output {
  13. elasticsearch {
  14. hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
  15. index => "nginx_kafka-%{+yyyy.MM.dd}"
  16. }
  17. }
  18. logstash -t -f kafka.conf
  19. logstash -f kafka.conf

3. ブラウザーの kibana アクセスの検証

ブラウザで http://192.168.9.116:5601 にアクセスし、Kibana にログインし、[Manage] ボタンをクリックして [Create Index Mode] をクリックし、[nginx_kafka-*] を検索し、[Next] ボタンをクリックして作成し、[ @timestamp]ボタン、[インデックス作成モード]; チャート情報とログ情報を表示できます。