Teknologian jakaminen

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Yleisesti käytetyt lisäosat ELK:n suodatinmoduuliin

Yleisesti käytetyt lisäosat logstash-suodatinmoduuliin:

suodatin: edustaa tietojenkäsittelykerrosta, mukaan lukien tietojen muotoilu, tietotyyppimuunnos, tietojen suodatus jne., ja tukee säännöllisiä lausekkeita

1. grok jakaa useita suuria tekstikenttiä pieniin kenttiin (?<kentän nimi>säännöllinen lauseke) Kentän nimi: säännöllisen lausekkeen vastaama sisältö
2. päivämäärä yhdistää ja muotoilee ajan muodon tiedoissa
3. mutate voi nimetä uudelleen, poistaa, korvata ja muokata kenttiä tapahtumissa.Poista esimerkiksi joitain hyödyttömiä kenttiä tai lisää mukautettuja kenttiä.
4. monirivinen järjestää tasaisesti useita tietorivejä ja tiivistää useita tietorivejä yhdeksi riviksi

GROK: tavallinen kaappauslaajennus

Käytä tekstifragmenttien segmentointia segmentoidaksesi lokitapahtumat, jotka on jaettu sisäänrakennetuihin säännöllisiin sääntöihin ja mukautettuihin säännöllisiin sääntöihin.

Sisäänrakennettu säännöllinen lauseke: % (sisäänrakennettu säännöllinen lauseke: kentän nimi)
 

Muokatun säännöllisen lausekkeen kutsu: (?<kentän nimi>muokattu säännöllinen lauseke)

         

monirivinen: Yhdistä useita tietorivejä ja tee yhteenveto useista tietoriveistä yhdeksi riviksi

kuvio (sovita rivit säännöllisen lausekkeen avulla)
negate(false|true, kielletäänkö. False tarkoittaa olla kieltämättä, ja säännöllistä lauseketta vastaavat rivit yhdistetään sen mukaan, mitä
true tarkoittaa kieltämistä, ja säännöllisen lausekkeen mukaisia ​​rivejä ei yhdistetä asetuksen mukaan mitä)
what(previous|seuraava, edellinen tarkoittaa sulautua ylöspäin, seuraava tarkoittaa sulautua alaspäin

päivämäärä: Yhdistä logstashin keräämien lokitapahtumien aikaleiman @timestamp muoto lokin todelliseen tulostusaikaan.

1. Määritä ensin grok-laajennus erottamaan lokiaika- ja tulostusaikakentät.
2. Käytä päivämäärä-laajennuksen määrityksessä match-toimintoa, jotta se vastaa lokin aikakentän aikamuotoa.
3. Käytä sitten kohdetta tulostaaksesi @timestamp-kenttään aikamuodon yhtenäistämiseksi.
 

ELK-optimoitu Filebeat-käyttöönotto

Asenna NGINX

cd /etc/yum.repos.d/
上传nginx.repo文件
yum install -y nginx
systemctl enable --now nginx
cd /usr/share/nginx/html
  #准备测试页面
echo '<h1>this is web page</h1>' > test.html
echo '<h1>this is web2 page</h1>' > test1.html

Asenna Filebeat

上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat

Aseta filebeatin pääasetustiedosto

cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
filebeat.inputs:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true     #24行
  paths:
    - /var/log/nginx/access.log       #28行指定监控的日志文件
    - /var/log/nginx/error.log
  tags: ["filebeat"]		#设置索引标签
  fields:           #46行可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: nginx
    log_from: 192.168.73.130 
 
--------------output-------------------
(全部注释掉)
 
----------------Logstash output---------------------
output.logstash:    #162行
  hosts: ["192.168.73.120:5044"]      #164行指定 logstash 的 IP 和端口

Muokkaa Logstash-asetuksia

cd /etc/logstash/conf.d
vim filebeat.conf
input {
    beats {
        port => "5044"
    }
}
 
#filter {}
 
output {
     elasticsearch {
                  hosts => ["192.168.73.80:9200", "192.168.73.100:9200", "192.168.73.110:9200"]   #集群els地址
                  index => "nginx-%{+yyyy.MM.dd}"
     }
 
}
 
 
logstash -t -f filebeat.conf  #检查文件

Aloita konfigurointitiedostobeat

192.168.73.130

Käynnistä ./filebeat -e -c filebeat.yml

Käynnistä logstash

192.168.73.120

Käynnistä logstashlogstash -f filebeat.conf