Compartilhamento de tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Plug-ins comumente usados ​​para o módulo de filtro do ELK

Plug-ins comumente usados ​​para o módulo de filtro logstash:

filtro: representa a camada de processamento de dados, incluindo formatação de dados, conversão de tipo de dados, filtragem de dados, etc., e oferece suporte a expressões regulares

1. grok subdivide vários campos de texto grandes em campos pequenos (?<nome do campo>expressão regular) Nome do campo: conteúdo correspondido pela expressão regular
2. data unifica e formata o formato de hora nos dados
3. mutate pode renomear, excluir, substituir e modificar campos em eventos.Por exemplo, elimine alguns campos inúteis ou adicione campos personalizados.
4. multilinha organiza uniformemente várias linhas de dados e resume várias linhas de dados em uma única linha

GROK: plug-in de captura regular

Use a segmentação de fragmentos de texto para segmentar eventos de log, que são divididos em regras regulares integradas e regras regulares personalizadas.

Chamada de expressão regular integrada:% (expressão regular integrada: nome do campo)
 

Chamada de expressão regular personalizada: (?<nome do campo>expressão regular personalizada)

         

multilinha: unifique várias linhas de dados e resuma várias linhas de dados em uma única linha

padrão (corresponder linhas via expressão regular)
negar (falso | verdadeiro, se deve negar. Falso significa não negar, e as linhas que correspondem à expressão regular serão mescladas de acordo com a configuração do que
true significa negação, e as linhas correspondentes à expressão regular não serão mescladas de acordo com a configuração de what)
o que(anterior | próximo, anterior significa mesclar para cima, próximo significa mesclar para baixo

data: Unifique o formato do carimbo de data/hora @timestamp dos eventos de log coletados pelo logstash com o horário real de impressão do log.

1. Primeiro configure o plug-in grok para separar os campos de hora de registro e hora de impressão.
2. Use correspondência na configuração do plug-in de data para corresponder ao formato de hora do campo de hora do log.
3. Em seguida, use target para gerar saída no campo @timestamp para unificar o formato de hora.
 

Implantação otimizada do Filebeat ELK

Instale o NGINX

cd /etc/yum.repos.d/
上传nginx.repo文件
yum install -y nginx
systemctl enable --now nginx
cd /usr/share/nginx/html
  #准备测试页面
echo '<h1>this is web page</h1>' > test.html
echo '<h1>this is web2 page</h1>' > test1.html

Instalar o Filebeat

上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat

Defina o arquivo de configuração principal do filebeat

cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
filebeat.inputs:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true     #24行
  paths:
    - /var/log/nginx/access.log       #28行指定监控的日志文件
    - /var/log/nginx/error.log
  tags: ["filebeat"]		#设置索引标签
  fields:           #46行可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: nginx
    log_from: 192.168.73.130 
 
--------------output-------------------
(全部注释掉)
 
----------------Logstash output---------------------
output.logstash:    #162行
  hosts: ["192.168.73.120:5044"]      #164行指定 logstash 的 IP 和端口

Modificar configuração do Logstash

cd /etc/logstash/conf.d
vim filebeat.conf
input {
    beats {
        port => "5044"
    }
}
 
#filter {}
 
output {
     elasticsearch {
                  hosts => ["192.168.73.80:9200", "192.168.73.100:9200", "192.168.73.110:9200"]   #集群els地址
                  index => "nginx-%{+yyyy.MM.dd}"
     }
 
}
 
 
logstash -t -f filebeat.conf  #检查文件

Iniciar filebeat de configuração

192.168.73.130

Inicie ./filebeat -e -c filebeat.yml

Iniciar logstash

192.168.73.120

Iniciar logstashlogstash -f arquivobeat.conf