技術共有

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

ELK のフィルター モジュールでよく使用されるプラグイン

logstash フィルター モジュールで一般的に使用されるプラグイン:

フィルター: データ形式設定、データ型変換、データ フィルター処理などを含むデータ処理層を表し、正規表現をサポートします。

1. grok は、いくつかの大きなテキスト フィールドを小さなフィールドに分割します (?<フィールド名>正規表現) フィールド名: 正規表現で一致する内容
2. 日付はデータ内の時刻形式を統一してフォーマットします。
3. mutate は、イベント内のフィールドの名前変更、削除、置換、および変更を行うことができます。たとえば、いくつかの無駄なフィールドを削除したり、カスタム フィールドを追加したりします。
4. multiline は、複数行のデータを均等に配置し、複数行のデータを 1 行に要約します。

GROK: 通常のキャプチャ プラグイン

テキスト フラグメント セグメンテーションを使用してログ イベントをセグメント化します。ログ イベントは、組み込みの通常ルールとカスタムの通常ルールに分割されます。

組み込み正規表現呼び出し: % (組み込み正規表現: フィールド名)
 

カスタム正規表現呼び出し: (?<フィールド名>カスタム正規表現)

         

multiline: 複数行のデータを統合し、複数行のデータを 1 行に要約します。

パターン (正規表現による一致行)
negate(false|true、否定するかどうか。Falseは否定しないことを意味し、正規表現に一致する行は何の設定に従ってマージされます。
true は否定を意味し、正規表現に一致した行は what の設定に従ってマージされません)
what(previous|next、previous は上向きにマージすることを意味し、next は下向きにマージすることを意味します

date: logstash によって収集されたログ イベントのタイムスタンプ @timestamp の形式を、ログの実際の印刷時刻と統一します。

1. まず、ログ時間フィールドと印刷時間フィールドを分離するように grok プラグインを設定します。
2. 日付プラグイン設定で match を使用して、ログ時刻フィールドの時刻形式と一致させます。
3. 次に、target を使用して @timestamp フィールドに出力し、時刻形式を統一します。
 

ELK で最適化された Filebeat 導入

NGINX をインストールする

cd /etc/yum.repos.d/
上传nginx.repo文件
yum install -y nginx
systemctl enable --now nginx
cd /usr/share/nginx/html
  #准备测试页面
echo '<h1>this is web page</h1>' > test.html
echo '<h1>this is web2 page</h1>' > test1.html

Filebeatをインストールする

上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat

filebeatのメイン設定ファイルを設定する

cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
filebeat.inputs:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true     #24行
  paths:
    - /var/log/nginx/access.log       #28行指定监控的日志文件
    - /var/log/nginx/error.log
  tags: ["filebeat"]		#设置索引标签
  fields:           #46行可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: nginx
    log_from: 192.168.73.130 
 
--------------output-------------------
(全部注释掉)
 
----------------Logstash output---------------------
output.logstash:    #162行
  hosts: ["192.168.73.120:5044"]      #164行指定 logstash 的 IP 和端口

Logstash 構成を変更する

cd /etc/logstash/conf.d
vim filebeat.conf
input {
    beats {
        port => "5044"
    }
}
 
#filter {}
 
output {
     elasticsearch {
                  hosts => ["192.168.73.80:9200", "192.168.73.100:9200", "192.168.73.110:9200"]   #集群els地址
                  index => "nginx-%{+yyyy.MM.dd}"
     }
 
}
 
 
logstash -t -f filebeat.conf  #检查文件

設定ファイルビートの開始

192.168.73.130

./filebeat -e -c filebeat.yml を開始します。

ログスタッシュを開始する

192.168.73.120

ログスタッシュを開始するログスタッシュ -f ファイルビート.conf