Berbagi teknologi

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Plug-in yang umum digunakan untuk modul filter ELK

Plug-in yang umum digunakan untuk modul filter logstash:

filter: mewakili lapisan pemrosesan data, termasuk pemformatan data, konversi tipe data, pemfilteran data, dll., dan mendukung ekspresi reguler

1. grok membagi beberapa bidang teks besar menjadi bidang-bidang kecil (?<nama bidang>ekspresi reguler) Nama bidang: konten yang cocok dengan ekspresi reguler
2. tanggal menyatukan dan memformat format waktu dalam data
3. mutate dapat mengganti nama, menghapus, mengganti, dan mengubah bidang dalam acara.Misalnya, hilangkan beberapa bidang yang tidak berguna atau tambahkan bidang khusus.
4. multiline mengatur beberapa baris data secara seragam dan merangkum beberapa baris data menjadi satu baris

GROK: plug-in pengambilan biasa

Gunakan segmentasi fragmen teks untuk mengelompokkan peristiwa log, yang dibagi menjadi aturan reguler bawaan dan aturan reguler kustom.

Panggilan ekspresi reguler bawaan: % (ekspresi reguler bawaan: nama bidang)
 

Panggilan ekspresi reguler khusus: (?<nama bidang>ekspresi reguler khusus)

         

multiline: Menyatukan beberapa baris data dan meringkas beberapa baris data menjadi satu baris

pola (mencocokkan garis melalui ekspresi reguler)
negate(false|true, apakah akan meniadakan. False berarti tidak meniadakan, dan baris yang cocok dengan ekspresi reguler akan digabungkan sesuai dengan pengaturan apa
true berarti negasi, dan garis yang cocok dengan ekspresi reguler tidak akan digabungkan sesuai dengan pengaturan apa)
apa(sebelumnya|berikutnya, sebelumnya berarti menggabungkan ke atas, berikutnya berarti menggabungkan ke bawah

tanggal: Menyatukan format stempel waktu @timestamp peristiwa log yang dikumpulkan oleh logstash dengan waktu pencetakan log yang sebenarnya.

1. Pertama-tama konfigurasikan plugin grok untuk memisahkan kolom waktu log dan waktu cetak.
2. Gunakan kecocokan pada konfigurasi plugin tanggal untuk mencocokkan format waktu pada kolom waktu log.
3. Kemudian gunakan target untuk mengeluarkan ke bidang @timestamp untuk menyatukan format waktu.
 

Penerapan Filebeat yang Dioptimalkan ELK

Instal NGINX

cd /etc/yum.repos.d/
上传nginx.repo文件
yum install -y nginx
systemctl enable --now nginx
cd /usr/share/nginx/html
  #准备测试页面
echo '<h1>this is web page</h1>' > test.html
echo '<h1>this is web2 page</h1>' > test1.html

Instal Filebeat

上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat

Atur file konfigurasi utama filebeat

cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
filebeat.inputs:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true     #24行
  paths:
    - /var/log/nginx/access.log       #28行指定监控的日志文件
    - /var/log/nginx/error.log
  tags: ["filebeat"]		#设置索引标签
  fields:           #46行可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: nginx
    log_from: 192.168.73.130 
 
--------------output-------------------
(全部注释掉)
 
----------------Logstash output---------------------
output.logstash:    #162行
  hosts: ["192.168.73.120:5044"]      #164行指定 logstash 的 IP 和端口

Ubah konfigurasi Logstash

cd /etc/logstash/conf.d
vim filebeat.conf
input {
    beats {
        port => "5044"
    }
}
 
#filter {}
 
output {
     elasticsearch {
                  hosts => ["192.168.73.80:9200", "192.168.73.100:9200", "192.168.73.110:9200"]   #集群els地址
                  index => "nginx-%{+yyyy.MM.dd}"
     }
 
}
 
 
logstash -t -f filebeat.conf  #检查文件

Mulai konfigurasi filebeat

192.168.73.130

Mulai ./filebeat -e -c filebeat.yml

Mulai logstash

192.168.73.120

Mulai logstashlogstash -f filebeat.conf