Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Συνήθως χρησιμοποιούμενα πρόσθετα για τη μονάδα φίλτρου της ELK

Συνήθως χρησιμοποιούμενα πρόσθετα για τη μονάδα φίλτρου logstash:

φίλτρο: αντιπροσωπεύει το επίπεδο επεξεργασίας δεδομένων, συμπεριλαμβανομένης της μορφοποίησης δεδομένων, της μετατροπής τύπων δεδομένων, του φιλτραρίσματος δεδομένων κ.λπ., και υποστηρίζει κανονικές εκφράσεις

1. Το grok υποδιαιρεί πολλά μεγάλα πεδία κειμένου σε μικρά πεδία (?<όνομα πεδίου>κανονική έκφραση) Όνομα πεδίου: περιεχόμενο που αντιστοιχεί στην κανονική έκφραση
2. Η ημερομηνία ενοποιεί και μορφοποιεί τη μορφή ώρας στα δεδομένα
3. mutate μπορεί να μετονομάσει, να διαγράψει, να αντικαταστήσει και να τροποποιήσει πεδία σε συμβάντα.Για παράδειγμα, καταργήστε ορισμένα άχρηστα πεδία ή προσθέστε προσαρμοσμένα πεδία.
4. multiline τακτοποιεί ομοιόμορφα πολλαπλές σειρές δεδομένων και συνοψίζει πολλές σειρές δεδομένων σε μία μόνο σειρά

GROK: κανονικό πρόσθετο λήψης

Χρησιμοποιήστε την τμηματοποίηση τμημάτων κειμένου για να τμηματοποιήσετε συμβάντα καταγραφής, τα οποία χωρίζονται σε ενσωματωμένους κανονικούς κανόνες και προσαρμοσμένους κανονικούς κανόνες.

Κλήση ενσωματωμένης τυπικής έκφρασης: % (ενσωματωμένη τυπική έκφραση: όνομα πεδίου)
 

Κλήση προσαρμοσμένης τυπικής έκφρασης: (?<όνομα πεδίου>προσαρμοσμένη τυπική έκφραση)

         

multiline: Ενοποιήστε πολλαπλές σειρές δεδομένων και συνοψίστε πολλές σειρές δεδομένων σε μία μόνο σειρά

μοτίβο (ταίριασμα γραμμών μέσω κανονικής έκφρασης)
negate(false|true, αν πρέπει να αρνηθεί. False σημαίνει να μην αναιρείται, και οι γραμμές που ταιριάζουν με την κανονική έκφραση θα συγχωνευθούν σύμφωνα με τις ρυθμίσεις του
true σημαίνει άρνηση και οι γραμμές που ταιριάζουν με την κανονική έκφραση δεν θα συγχωνευθούν σύμφωνα με τη ρύθμιση του τι)
what(previous|next, previous σημαίνει συγχώνευση προς τα πάνω, επόμενο σημαίνει συγχώνευση προς τα κάτω

ημερομηνία: Ενοποιήστε τη μορφή της χρονικής σφραγίδας @timestamp των συμβάντων καταγραφής που συλλέγονται από το logstash με τον πραγματικό χρόνο εκτύπωσης του αρχείου καταγραφής.

1. Πρώτα διαμορφώστε την προσθήκη grok για να διαχωρίσει τα πεδία χρόνου καταγραφής και χρόνου εκτύπωσης.
2. Χρησιμοποιήστε την αντιστοίχιση στη διαμόρφωση της προσθήκης ημερομηνίας για να ταιριάζει με τη μορφή ώρας του πεδίου ώρας καταγραφής.
3. Στη συνέχεια, χρησιμοποιήστε το target για έξοδο στο πεδίο @timestamp για να ενοποιήσετε τη μορφή ώρας.
 

ELK Optimized Filebeat Deployment

Εγκαταστήστε το NGINX

cd /etc/yum.repos.d/
上传nginx.repo文件
yum install -y nginx
systemctl enable --now nginx
cd /usr/share/nginx/html
  #准备测试页面
echo '<h1>this is web page</h1>' > test.html
echo '<h1>this is web2 page</h1>' > test1.html

Εγκαταστήστε το Filebeat

上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat

Ορίστε το κύριο αρχείο ρυθμίσεων του filebeat

cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
filebeat.inputs:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true     #24行
  paths:
    - /var/log/nginx/access.log       #28行指定监控的日志文件
    - /var/log/nginx/error.log
  tags: ["filebeat"]		#设置索引标签
  fields:           #46行可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: nginx
    log_from: 192.168.73.130 
 
--------------output-------------------
(全部注释掉)
 
----------------Logstash output---------------------
output.logstash:    #162行
  hosts: ["192.168.73.120:5044"]      #164行指定 logstash 的 IP 和端口

Τροποποίηση της διαμόρφωσης Logstash

cd /etc/logstash/conf.d
vim filebeat.conf
input {
    beats {
        port => "5044"
    }
}
 
#filter {}
 
output {
     elasticsearch {
                  hosts => ["192.168.73.80:9200", "192.168.73.100:9200", "192.168.73.110:9200"]   #集群els地址
                  index => "nginx-%{+yyyy.MM.dd}"
     }
 
}
 
 
logstash -t -f filebeat.conf  #检查文件

Έναρξη αρχείου ρύθμισης παραμέτρων

192.168.73.130

Έναρξη ./filebeat -e -c filebeat.yml

Ξεκινήστε το logstash

192.168.73.120

Ξεκινήστε το logstashlogstash -f filebeat.conf