Condivisione della tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Plug-in comunemente utilizzati per il modulo filtro ELK

Plug-in comunemente utilizzati per il modulo filtro logstash:

filtro: rappresenta il livello di elaborazione dei dati, inclusa la formattazione dei dati, la conversione del tipo di dati, il filtraggio dei dati, ecc. e supporta le espressioni regolari

1. grok suddivide diversi campi di testo di grandi dimensioni in campi piccoli (?<nome campo>espressione regolare) Nome campo: contenuto corrispondente all'espressione regolare
2. date unifica e formatta il formato dell'ora nei dati
3. mutate può rinominare, eliminare, sostituire e modificare i campi negli eventi.Ad esempio, elimina alcuni campi inutili o aggiungi campi personalizzati.
4. multilinea dispone in modo uniforme più righe di dati e riepiloga più righe di dati in un'unica riga

GROK: normale plug-in di acquisizione

Utilizza la segmentazione dei frammenti di testo per segmentare gli eventi del registro, che sono suddivisi in regole regolari integrate e regole regolari personalizzate.

Chiamata all'espressione regolare incorporata: % (espressione regolare incorporata: nome campo)
 

Chiamata all'espressione regolare personalizzata: (?<nome campo>espressione regolare personalizzata)

         

multilinea: unifica più righe di dati e riepiloga più righe di dati in un'unica riga

pattern (corrisponde alle linee tramite espressione regolare)
negate(false|true, se negare. False significa non negare e le righe che corrispondono all'espressione regolare verranno unite in base all'impostazione di cosa
vero significa negazione e le righe corrispondenti all'espressione regolare non verranno unite in base all'impostazione di cosa)
cosa(precedente|successivo, precedente significa unione verso l'alto, successivo significa unione verso il basso

date: Unifica il formato del timestamp @timestamp degli eventi di log raccolti da logstash con l'orario di stampa effettivo del log.

1. Configurare innanzitutto il plug-in grok per separare i campi dell'ora di registro e dell'ora di stampa.
2. Utilizzare la corrispondenza nella configurazione del plug-in della data per far corrispondere il formato dell'ora del campo dell'ora del registro.
3. Quindi utilizzare target per l'output nel campo @timestamp per unificare il formato dell'ora.
 

Distribuzione Filebeat ottimizzata per ELK

Installa NGINX

cd /etc/yum.repos.d/
上传nginx.repo文件
yum install -y nginx
systemctl enable --now nginx
cd /usr/share/nginx/html
  #准备测试页面
echo '<h1>this is web page</h1>' > test.html
echo '<h1>this is web2 page</h1>' > test1.html

Installa Filebeat

上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat

Imposta il file di configurazione principale di filebeat

cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
filebeat.inputs:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true     #24行
  paths:
    - /var/log/nginx/access.log       #28行指定监控的日志文件
    - /var/log/nginx/error.log
  tags: ["filebeat"]		#设置索引标签
  fields:           #46行可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: nginx
    log_from: 192.168.73.130 
 
--------------output-------------------
(全部注释掉)
 
----------------Logstash output---------------------
output.logstash:    #162行
  hosts: ["192.168.73.120:5044"]      #164行指定 logstash 的 IP 和端口

Modifica la configurazione di Logstash

cd /etc/logstash/conf.d
vim filebeat.conf
input {
    beats {
        port => "5044"
    }
}
 
#filter {}
 
output {
     elasticsearch {
                  hosts => ["192.168.73.80:9200", "192.168.73.100:9200", "192.168.73.110:9200"]   #集群els地址
                  index => "nginx-%{+yyyy.MM.dd}"
     }
 
}
 
 
logstash -t -f filebeat.conf  #检查文件

Avvia il filebeat di configurazione

192.168.73.130

Avvia ./filebeat -e -c filebeat.yml

Avvia logstash

192.168.73.120

Avvia logstashlogstash -f filebeat.conf