Compartir tecnología

Configurar el experimento kafka del cuidador del zoológico ELK Filebead

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Tabla de contenido

1. Implementar Filebeat

2. Configuración de Logstash

3. Verificación de acceso al navegador kibana


nombre de la CPUdirección IPsoftware principal
es01192.168.9.114Búsqueda elástica
es02192.168.9.115Búsqueda elástica
es03192.168.9.116ElasticSearch, Kibana
nginx01192.168.9.113nginx, Logstash
N / A192.168.9.111nginx, Filebeat
N / A192.168.9.210El guardián del zoológico, Kafka
N / A192.168.9.120El guardián del zoológico, Kafka
N / A192.168.9.140El guardián del zoológico, Kafka

ELK, Filebead, zookeeper y kafka están diseñados para consultar blogs anteriores

1. Implementar Filebeat

  1. cd /usr/local/filebeat
  2. vim filebeat.yml
  3. 注释162164行内容
  4. 163行起添加
  5. output.kafka:
  6. enabled: true
  7. hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"] #指定 Kafka 集群配置
  8. topic: "nginx" #指定 Kafka 的 topic
  9. ————————————

El navegador accede a filebeat y genera nuevos datos de registro.

http://192.168.9.111/prueba.html、http://192.168.9.111/test1.html、http://192.168.9.111/

  1. 启动 filebeat
  2. ./filebeat -e -c filebeat.yml

2. Configuración de Logstash

  1. cd /etc/logstash/conf.d/
  2. vim kafka.conf
  3. input {
  4. kafka {
  5. bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
  6. topics => "nginx"
  7. type => "nginx_kafka"
  8. auto_offset_reset => "latest"
  9. }
  10. }
  11. #filter {}
  12. output {
  13. elasticsearch {
  14. hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
  15. index => "nginx_kafka-%{+yyyy.MM.dd}"
  16. }
  17. }
  18. logstash -t -f kafka.conf
  19. logstash -f kafka.conf

3. Verificación de acceso al navegador kibana

Visite http://192.168.9.116:5601 con el navegador, inicie sesión en Kibana, haga clic en el botón [Administrar] [Crear modo de índice], busque [nginx_kafka-*], haga clic en el botón [Siguiente] para crear, seleccione el [ Botón @timestamp], [Crear modo de índice] puede ver información del gráfico y registrar información.