Обмен технологиями

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Часто используемые плагины для модуля фильтра ELK

Часто используемые плагины для модуля фильтра logstash:

фильтр: представляет уровень обработки данных, включая форматирование данных, преобразование типов данных, фильтрацию данных и т. д., и поддерживает регулярные выражения.

1. grok разделяет несколько больших текстовых полей на маленькие поля (?<имя поля>регулярное выражение). Имя поля: содержимое, соответствующее регулярному выражению.
2. дата унифицирует и форматирует формат времени в данных
3. mutate может переименовывать, удалять, заменять и изменять поля в событиях.Например, удалите некоторые ненужные поля или добавьте настраиваемые поля.
4. многострочный равномерно упорядочивает несколько строк данных и суммирует несколько строк данных в одну строку

GROK: плагин обычного захвата

Используйте сегментацию текстовых фрагментов для сегментации событий журнала, которые делятся на встроенные регулярные правила и настраиваемые регулярные правила.

Вызов встроенного регулярного выражения: % (встроенное регулярное выражение: имя поля)
 

Вызов пользовательского регулярного выражения: (?<имя поля>пользовательское регулярное выражение)

         

многострочный: объединяет несколько строк данных и суммирует несколько строк данных в одну строку.

шаблон (сопоставление строк с помощью регулярного выражения)
negate(false|true, следует ли инвертировать. False означает не инвертировать, и строки, соответствующие регулярному выражению, будут объединены в соответствии с настройкой того, что
true означает отрицание, и строки, соответствующие регулярному выражению, не будут объединены в соответствии с настройкой чего)
что(предыдущее|следующее, предыдущее означает слияние вверх, следующее означает слияние вниз

date: унифицировать формат отметки времени @timestamp событий журнала, собранных logstash, с фактическим временем печати журнала.

1. Сначала настройте плагин grok, чтобы разделить поля времени журнала и времени печати.
2. Используйте match в конфигурации подключаемого модуля даты, чтобы соответствовать формату времени поля времени журнала.
3. Затем используйте target для вывода в поле @timestamp, чтобы унифицировать формат времени.
 

Оптимизированное для ELK развертывание Filebeat

Установить НГИНКС

cd /etc/yum.repos.d/
上传nginx.repo文件
yum install -y nginx
systemctl enable --now nginx
cd /usr/share/nginx/html
  #准备测试页面
echo '<h1>this is web page</h1>' > test.html
echo '<h1>this is web2 page</h1>' > test1.html

Установить Файлбит

上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat

Установите основной файл конфигурации filebeat

cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
filebeat.inputs:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true     #24行
  paths:
    - /var/log/nginx/access.log       #28行指定监控的日志文件
    - /var/log/nginx/error.log
  tags: ["filebeat"]		#设置索引标签
  fields:           #46行可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: nginx
    log_from: 192.168.73.130 
 
--------------output-------------------
(全部注释掉)
 
----------------Logstash output---------------------
output.logstash:    #162行
  hosts: ["192.168.73.120:5044"]      #164行指定 logstash 的 IP 和端口

Изменить конфигурацию Logstash

cd /etc/logstash/conf.d
vim filebeat.conf
input {
    beats {
        port => "5044"
    }
}
 
#filter {}
 
output {
     elasticsearch {
                  hosts => ["192.168.73.80:9200", "192.168.73.100:9200", "192.168.73.110:9200"]   #集群els地址
                  index => "nginx-%{+yyyy.MM.dd}"
     }
 
}
 
 
logstash -t -f filebeat.conf  #检查文件

Запустить конфигурационный файлbeat

192.168.73.130

Запустите ./filebeat -e -c filebeat.yml

Запустить журнал

192.168.73.120

Запустить журналlogstash -f filebeat.conf