प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

ELK इत्यस्य फ़िल्टर मॉड्यूलस्य कृते सामान्यतया प्रयुक्ताः प्लग-इन्

logstash फ़िल्टर मॉड्यूलस्य कृते सामान्यतया प्रयुक्ताः प्लग-इन्:

filter: आँकडा-स्वरूपणं, आँकडा-प्रकार-रूपान्तरणं, आँकडा-छननम् इत्यादीनि समाविष्टानि, आँकडा-संसाधन-स्तरं प्रतिनिधियति, नियमित-अभिव्यक्ति-समर्थनं च करोति

1. grok अनेकाः बृहत्पाठक्षेत्राणि लघुक्षेत्रेषु उपविभजति (?<field name>regular expression) क्षेत्रनाम: नियमितव्यञ्जनेन मेलनं कृता सामग्री
2. date दत्तांशे समयस्वरूपं एकीकृत्य स्वरूपयति
3. mutate इत्यनेन घटनासु क्षेत्राणां नामकरणं, विलोपनं, प्रतिस्थापनं, परिवर्तनं च कर्तुं शक्यते ।यथा, केचन निरर्थकाः क्षेत्राणि निवारयन्तु अथवा इष्टक्षेत्राणि योजयन्तु ।
4. multiline समानरूपेण दत्तांशस्य बहुपङ्क्तयः व्यवस्थितं करोति तथा च दत्तांशस्य बहुपङ्क्तयः एकस्मिन् पङ्क्तौ सारांशतः करोति

GROK: नियमितं कैप्चर प्लग-इन्

लॉग् इवेण्ट्स् सेगमेण्ट् कर्तुं पाठखण्डविभाजनस्य उपयोगं कुर्वन्तु, ये अन्तःनिर्मितनियमितनियमेषु कस्टम् नियमितनियमेषु च विभक्ताः सन्ति ।

अन्तर्निर्मित नियमितव्यञ्जनस्य आह्वानम्: % (अन्तर्गतं नियमितव्यञ्जनम्: क्षेत्रनाम)
 

कस्टम रेगुलर एक्सप्रेशन कॉल: (?<field name>custom regular expression)

         

multiline: दत्तांशस्य बहुपङ्क्तयः एकीकृत्य दत्तांशस्य बहुपङ्क्तयः एकस्मिन् पङ्क्तौ सारांशतः स्थापयन्तु

pattern (नियमितव्यञ्जनद्वारा रेखानां मेलनं) २.
negate(false|true, what to negate. False इत्यस्य अर्थः न नकारयितुं, नियमितव्यञ्जनस्य सङ्गताः रेखाः च किं सेटिङ्ग् अनुसृत्य विलीनाः भविष्यन्ति
true इत्यस्य अर्थः नकारः, नियमितव्यञ्जनेन सङ्गताः रेखाः किस्य सेटिंग्नुसारं न विलीयन्ते) ।
किम्(पूर्वम्|अनन्तरं, पूर्वम् ऊर्ध्वं विलीयते, परं अधो विलीयते इत्यर्थः

date: logstash द्वारा एकत्रितस्य log events इत्यस्य timestamp @timestamp इत्यस्य प्रारूपं log इत्यस्य वास्तविकमुद्रणसमयेन सह एकीकृत्य स्थापयन्तु ।

1. प्रथमं log time तथा print time क्षेत्रं पृथक् कर्तुं grok plug-in विन्यस्यताम् ।
2. log time field इत्यस्य time format इत्यस्य मेलार्थं date plug-in configuration इत्यस्मिन् match इत्यस्य उपयोगं कुर्वन्तु ।
3. ततः समयस्वरूपं एकीकृत्य @timestamp क्षेत्रे आउटपुट् कर्तुं target इत्यस्य उपयोगं कुर्वन्तु ।
 

ELK अनुकूलितं Filebeat परिनियोजनम्

NGINX संस्थापयन्तु

cd /etc/yum.repos.d/
上传nginx.repo文件
yum install -y nginx
systemctl enable --now nginx
cd /usr/share/nginx/html
  #准备测试页面
echo '<h1>this is web page</h1>' > test.html
echo '<h1>this is web2 page</h1>' > test1.html

Filebeat संस्थापयन्तु

上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat

filebeat इत्यस्य मुख्यविन्याससञ्चिकां सेट् कुर्वन्तु

cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
filebeat.inputs:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true     #24行
  paths:
    - /var/log/nginx/access.log       #28行指定监控的日志文件
    - /var/log/nginx/error.log
  tags: ["filebeat"]		#设置索引标签
  fields:           #46行可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: nginx
    log_from: 192.168.73.130 
 
--------------output-------------------
(全部注释掉)
 
----------------Logstash output---------------------
output.logstash:    #162行
  hosts: ["192.168.73.120:5044"]      #164行指定 logstash 的 IP 和端口

Logstash विन्यासं परिवर्तयन्तु

cd /etc/logstash/conf.d
vim filebeat.conf
input {
    beats {
        port => "5044"
    }
}
 
#filter {}
 
output {
     elasticsearch {
                  hosts => ["192.168.73.80:9200", "192.168.73.100:9200", "192.168.73.110:9200"]   #集群els地址
                  index => "nginx-%{+yyyy.MM.dd}"
     }
 
}
 
 
logstash -t -f filebeat.conf  #检查文件

विन्यास filebeat आरभत

192.168.73.130

आरभत ./filebeat -e -c filebeat.yml

logstash आरभत

192.168.73.120

logstash आरभतlogstash -f filebeat.conf