기술나눔

ELK Filebead 사육사 kafka 실험 설정

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

목차

1. Filebeat 배포

2. 로그스태시 구성

3. 브라우저 Kibana 접속 확인


CPU 이름IP 주소주요 소프트웨어
에스01192.168.9.114탄력적 검색
에스02192.168.9.115탄력적 검색
에스03192.168.9.116ElasticSearch、Kibana
nginx01192.168.9.113nginx、Logstash
192.168.9.111nginx、Filebeat
192.168.9.210동물원지기, 카프카
192.168.9.120동물원지기, 카프카
192.168.9.140동물원지기, 카프카

ELK, Filebead, Zookeeper, Kafka를 구축하여 이전 블로그를 쿼리할 수 있습니다.

1. Filebeat 배포

  1. cd /usr/local/filebeat
  2. vim filebeat.yml
  3. 注释162164行内容
  4. 163行起添加
  5. output.kafka:
  6. enabled: true
  7. hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"] #指定 Kafka 集群配置
  8. topic: "nginx" #指定 Kafka 的 topic
  9. ————————————

브라우저가 filebeat에 액세스하고 새 로그 데이터를 생성합니다.

http://192.168.9.111/테스트.html、http://192.168.9.111/test1.html、http://192.168.9.111/

  1. 启动 filebeat
  2. ./filebeat -e -c filebeat.yml

2. 로그스태시 구성

  1. cd /etc/logstash/conf.d/
  2. vim kafka.conf
  3. input {
  4. kafka {
  5. bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
  6. topics => "nginx"
  7. type => "nginx_kafka"
  8. auto_offset_reset => "latest"
  9. }
  10. }
  11. #filter {}
  12. output {
  13. elasticsearch {
  14. hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
  15. index => "nginx_kafka-%{+yyyy.MM.dd}"
  16. }
  17. }
  18. logstash -t -f kafka.conf
  19. logstash -f kafka.conf

3. 브라우저 Kibana 접속 확인

브라우저로 http://192.168.9.116:5601 에 접속하여 Kibana에 로그인 후 [Manage] 버튼 클릭 [Create Index Mode], [nginx_kafka-*] 검색, [Next] 버튼 클릭하여 생성, [ @timestamp] 버튼, [인덱스 생성 모드], 차트 정보 및 로그 정보를 볼 수 있습니다.