技術共有

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

---

序文

Filebeat+ELK の構築と解釈のリファレンス
リンク：k8s 学習 – k8s に基づく ELK ログ収集の詳細なプロセス
この章では説明を繰り返しません

環境

仮想マシン

バージョン centos7.9
k8s-1.27をデプロイしました
ELK サーバーは Filebeat+ELK をデプロイしました

アプリケーション Pod 内で filebeat (sidecar) を実行することで実装されます。今回は Tomcat を例として説明します。

1. Tomcatデータディレクトリを準備する

デフォルトでは、Tomcat コンテナーに Web サイトのホームページ ファイルがありません。これを追加しないと、ポッド内のコンテナーが正常に実行できなくなります。

work01ホスト操作

mkdir /opt/tomcatwebroot
echo "tomcat is running" > /opt/tomcatwebroot/index.html
1
2

2. Tomcatアプリケーションリソースリストファイルの書き込み

マスターホストの操作

vim tomcat-logs.yaml
1

apiVersion: apps/v1
kind: Deployment
metadata:
  name: tomcat-demo
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      project: www
      app: tomcat-demo
  template:
    metadata:
      labels:
        project: www
        app: tomcat-demo
    spec:
      nodeName: worker01
      containers:
      - name: tomcat
        image: tomcat:latest
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080
          name: web
          protocol: TCP
        resources:
          requests:
            cpu: 0.5
            memory: 500Mi
          limits:
            cpu: 1
            memory: 1Gi
        livenessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        readinessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        volumeMounts:
        - name: tomcat-logs
          mountPath: /usr/local/tomcat/logs
        - name: tomcatwebroot
          mountPath: /usr/local/tomcat/webapps/ROOT

      - name: filebeat
        image: docker.io/elastic/filebeat:7.17.2
        imagePullPolicy: IfNotPresent
        args: [
          "-c", "/etc/filebeat.yml",
          "-e",
        ]
        resources:
          limits:
            memory: 500Mi
          requests:
            cpu: 100m
            memory: 100Mi
        securityContext:
          runAsUser: 0
        volumeMounts:
        - name: filebeat-config
          mountPath: /etc/filebeat.yml
          subPath: filebeat.yml
        - name: tomcat-logs
          mountPath: /usr/local/tomcat/logs
      volumes:
      - name: tomcat-logs
        emptyDir: {}
      - name: tomcatwebroot
        hostPath:
          path: /opt/tomcatwebroot
          type: Directory
      - name: filebeat-config
        configMap:
          name: filebeat-config
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-config
  namespace: default

data:
  filebeat.yml: |-
    filebeat.inputs:
    - type: log
      paths:
        - /usr/local/tomcat/logs/catalina.*

      fields:
        app: www
        type: tomcat-catalina
      fields_under_root: true
      multiline:
        pattern: '^['
        negate: true
        match: after

    setup.ilm.enabled: false
    setup.template.name: "tomcat-catalina"
    setup.template.pattern: "tomcat-catalina-*"

    output.logstash:
      hosts: ['192.168.10.17:5056']
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111

この yaml は、Tomcat と Filebeat のデプロイメント ファイル、および Filebeat 構成ファイルを定義します。
導入セクション

apiVersion: apps/v1
kind: Deployment
metadata:
  name: tomcat-demo
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      project: www
      app: tomcat-demo
  template:
    metadata:
      labels:
        project: www
        app: tomcat-demo
    spec:
      nodeName: worker01
      containers:
      - name: tomcat
        image: tomcat:latest
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080
          name: web
          protocol: TCP
        resources:
          requests:
            cpu: 0.5
            memory: 500Mi
          limits:
            cpu: 1
            memory: 1Gi
        livenessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        readinessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        volumeMounts:
        - name: tomcat-logs
          mountPath: /usr/local/tomcat/logs
        - name: tomcatwebroot
          mountPath: /usr/local/tomcat/webapps/ROOT

      - name: filebeat
        image: docker.io/elastic/filebeat:7.17.2
        imagePullPolicy: IfNotPresent
        args: [
          "-c", "/etc/filebeat.yml",
          "-e",
        ]
        resources:
          limits:
            memory: 500Mi
          requests:
            cpu: 100m
            memory: 100Mi
        securityContext:
          runAsUser: 0
        volumeMounts:
        - name: filebeat-config
          mountPath: /etc/filebeat.yml
          subPath: filebeat.yml
        - name: tomcat-logs
          mountPath: /usr/local/tomcat/logs
      volumes:
      - name: tomcat-logs
        emptyDir: {}
      - name: tomcatwebroot
        hostPath:
          path: /opt/tomcatwebroot
          type: Directory
      - name: filebeat-config
        configMap:
          name: filebeat-config
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82

メタデータ: デプロイメントの名前と名前空間を定義します。
spec: デプロイメントの詳細な仕様が含まれます。
レプリカ: レプリカの数を指定します。つまり、2 つの Tomcat インスタンスを実行します。
selector: Pod ラベルを照合するためのセレクターを定義します。
template: メタデータと仕様を含む Pod テンプレートについて説明します。
nodeName: ポッドが実行されているノード名 (worker01) を指定します。
コンテナ: Tomcat と Filebeat の 2 つのコンテナが定義されています。

Tomcat コンテナ:
image: tomcat:latest イメージを使用します。
ポート: ポート 8080 を公開します。
リソース: リソースのリクエストと制限を定義します。
livenessProbe および readinessProbe: ヘルスチェックに使用されます。
volumeMounts: 2 つのボリュームがマウントされます。

Filebeat コンテナ:
画像: filebeat:7.17.2 イメージを使用します。
args: 起動パラメータを指定します。
リソース: リソースのリクエストと制限を定義します。
securityContext: root ユーザーとして実行します。
volumeMounts: 2 つのボリュームがマウントされます。

ボリューム:
tomcat-logs: emptyDir ボリュームを使用します。
tomcatwebroot: hostPath ボリュームを使用します。
filebeat-config: ConfigMap ボリュームを使用します。

---

設定ファイル (ConfigMap) セクション

apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-config
1
2
3
4

説明する
メタデータ: ConfigMap の名前を定義します。
data: Filebeat の設定内容が含まれている必要があります (ここでは省略)。

3.logstash設定ファイルを書き込む

Elk ホスト構成
以前の構成ファイルに影響を与えずに logstash 構成ファイルを書き込みます

vim /etc/logstash/conf.d/tomcat-logstash-to-elastic.conf
1

input {
  beats {
    host => "0.0.0.0"
    port => "5056"
  }
}

filter {

}


output {
    elasticsearch {
      hosts => "192.168.10.17:9200"
      index => "tomcat-catalina-%{+yyyy.MM.dd}"
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

走る

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/tomcat-logstash-to-elastic.conf --path.data /usr/share/logstash/data3 &
1

ポートが稼働していることを確認します

ss -anput | grep ":5056"
1

4. Tomcatリソースリストファイルを適用します。

マスターホストの操作

kubectl apply -f tomcat-logs.yaml
1

画像をダウンロードする必要があるのでしばらくお待ちください
次にポッドを確認します
注: VPN が必要です

kubectl get deployment.apps
kubectl get pods
1
2

5. Pod 内の Tomcat と filebeat が正常であるかどうかを確認します

Tomcat で生成されたログを表示する (-c: コンテナー)

filebeat 収集ログの表示

 kubectl logs tomcat-demo-664584f857-k8whd -c filebeat
1

6. kiana ページにインデックスを追加

ホストブラウザアクセス

192.168.10.17:5601
1

ログを見たことがあることがわかります

仕上げる
お役に立てましたら、クリックしてフォローしてください