기술나눔

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

---

머리말

Filebeat+ELK 구성 및 해석 참조
링크:k8s 학습 – k8s 기반 ELK 로그 수집 세부 과정
이 장에서는 설명을 반복하지 않습니다.

환경

가상 기기

버전 centos7.9
k8s-1.27 배포됨
ELK 서버가 Filebeat+ELK를 배포했습니다.

애플리케이션 Pod에서 filebeat(사이드카)를 실행하여 구현합니다. 이번에는 Tomcat을 예로 들어 설명하겠습니다.

1. Tomcat 데이터 디렉토리 준비

기본적으로 Tomcat 컨테이너에는 웹 사이트 홈 페이지 파일이 없습니다. 이를 추가하지 않으면 Pod의 컨테이너가 정상적으로 실행되지 않습니다.

work01 호스트 작업

mkdir /opt/tomcatwebroot
echo "tomcat is running" > /opt/tomcatwebroot/index.html
1
2

2. Tomcat 애플리케이션 리소스 목록 파일 작성

마스터 호스트 작업

vim tomcat-logs.yaml
1

apiVersion: apps/v1
kind: Deployment
metadata:
  name: tomcat-demo
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      project: www
      app: tomcat-demo
  template:
    metadata:
      labels:
        project: www
        app: tomcat-demo
    spec:
      nodeName: worker01
      containers:
      - name: tomcat
        image: tomcat:latest
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080
          name: web
          protocol: TCP
        resources:
          requests:
            cpu: 0.5
            memory: 500Mi
          limits:
            cpu: 1
            memory: 1Gi
        livenessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        readinessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        volumeMounts:
        - name: tomcat-logs
          mountPath: /usr/local/tomcat/logs
        - name: tomcatwebroot
          mountPath: /usr/local/tomcat/webapps/ROOT

      - name: filebeat
        image: docker.io/elastic/filebeat:7.17.2
        imagePullPolicy: IfNotPresent
        args: [
          "-c", "/etc/filebeat.yml",
          "-e",
        ]
        resources:
          limits:
            memory: 500Mi
          requests:
            cpu: 100m
            memory: 100Mi
        securityContext:
          runAsUser: 0
        volumeMounts:
        - name: filebeat-config
          mountPath: /etc/filebeat.yml
          subPath: filebeat.yml
        - name: tomcat-logs
          mountPath: /usr/local/tomcat/logs
      volumes:
      - name: tomcat-logs
        emptyDir: {}
      - name: tomcatwebroot
        hostPath:
          path: /opt/tomcatwebroot
          type: Directory
      - name: filebeat-config
        configMap:
          name: filebeat-config
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-config
  namespace: default

data:
  filebeat.yml: |-
    filebeat.inputs:
    - type: log
      paths:
        - /usr/local/tomcat/logs/catalina.*

      fields:
        app: www
        type: tomcat-catalina
      fields_under_root: true
      multiline:
        pattern: '^['
        negate: true
        match: after

    setup.ilm.enabled: false
    setup.template.name: "tomcat-catalina"
    setup.template.pattern: "tomcat-catalina-*"

    output.logstash:
      hosts: ['192.168.10.17:5056']
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111

이 yaml은 Tomcat과 Filebeat 배포 및 Filebeat 구성 파일을 정의합니다.
배포 섹션

apiVersion: apps/v1
kind: Deployment
metadata:
  name: tomcat-demo
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      project: www
      app: tomcat-demo
  template:
    metadata:
      labels:
        project: www
        app: tomcat-demo
    spec:
      nodeName: worker01
      containers:
      - name: tomcat
        image: tomcat:latest
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080
          name: web
          protocol: TCP
        resources:
          requests:
            cpu: 0.5
            memory: 500Mi
          limits:
            cpu: 1
            memory: 1Gi
        livenessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        readinessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        volumeMounts:
        - name: tomcat-logs
          mountPath: /usr/local/tomcat/logs
        - name: tomcatwebroot
          mountPath: /usr/local/tomcat/webapps/ROOT

      - name: filebeat
        image: docker.io/elastic/filebeat:7.17.2
        imagePullPolicy: IfNotPresent
        args: [
          "-c", "/etc/filebeat.yml",
          "-e",
        ]
        resources:
          limits:
            memory: 500Mi
          requests:
            cpu: 100m
            memory: 100Mi
        securityContext:
          runAsUser: 0
        volumeMounts:
        - name: filebeat-config
          mountPath: /etc/filebeat.yml
          subPath: filebeat.yml
        - name: tomcat-logs
          mountPath: /usr/local/tomcat/logs
      volumes:
      - name: tomcat-logs
        emptyDir: {}
      - name: tomcatwebroot
        hostPath:
          path: /opt/tomcatwebroot
          type: Directory
      - name: filebeat-config
        configMap:
          name: filebeat-config
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82

메타데이터: 배포의 이름과 네임스페이스를 정의합니다.
spec: 배포의 세부 사양을 포함합니다.
복제본: 복제본 수, 즉 두 개의 Tomcat 인스턴스를 실행하는 항목을 지정합니다.
selector: Pod 라벨 일치를 위한 선택기를 정의합니다.
template: 메타데이터 및 사양을 포함하여 Pod 템플릿을 설명합니다.
nodeName: 포드가 실행 중인 노드 이름(worker01)을 지정합니다.
컨테이너: Tomcat과 Filebeat라는 두 개의 컨테이너가 정의됩니다.

Tomcat 컨테이너:
이미지: tomcat:최신 이미지를 사용하세요.
포트: 포트 8080을 노출합니다.
resources: 리소스 요청 및 제한을 정의합니다.
livenessProbe 및 readinessProbe: 상태 확인에 사용됩니다.
VolumeMounts: 두 개의 볼륨이 마운트됩니다.

Filebeat 컨테이너:
이미지: filebeat:7.17.2 이미지를 사용하세요.
args: 시작 매개변수를 지정합니다.
resources: 리소스 요청 및 제한을 정의합니다.
securityContext: 루트 사용자로 실행합니다.
VolumeMounts: 두 개의 볼륨이 마운트됩니다.

볼륨:
tomcat-logs: 빈Dir 볼륨을 사용합니다.
tomcatwebroot: hostPath 볼륨을 사용합니다.
filebeat-config: ConfigMap 볼륨을 사용합니다.

---

구성 파일(ConfigMap) 섹션

apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-config
1
2
3
4

설명하다
메타데이터: ConfigMap의 이름을 정의합니다.
data: Filebeat의 구성 콘텐츠를 포함해야 합니다(여기서는 생략됨).

3. logstash 구성 파일 작성

엘크 호스트 구성
이전 구성 파일에 영향을 주지 않고 logstash 구성 파일 작성

vim /etc/logstash/conf.d/tomcat-logstash-to-elastic.conf
1

input {
  beats {
    host => "0.0.0.0"
    port => "5056"
  }
}

filter {

}


output {
    elasticsearch {
      hosts => "192.168.10.17:9200"
      index => "tomcat-catalina-%{+yyyy.MM.dd}"
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

달리다

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/tomcat-logstash-to-elastic.conf --path.data /usr/share/logstash/data3 &
1

포트가 작동 중인지 확인

ss -anput | grep ":5056"
1

4. Tomcat 리소스 목록 파일 적용

마스터 호스트 작업

kubectl apply -f tomcat-logs.yaml
1

이미지를 다운로드해야 하므로 잠시만 기다려주세요
그런 다음 포드를 확인하십시오.
참고: VPN이 필요합니다.

kubectl get deployment.apps
kubectl get pods
1
2

5. Pod 내 tomcat과 filebeat가 정상인지 확인

Tomcat 생성 로그 보기(-c: 컨테이너)

파일비트 수집 로그 보기

 kubectl logs tomcat-demo-664584f857-k8whd -c filebeat
1

6. kiana 페이지에 색인 추가

호스트 브라우저 액세스

192.168.10.17:5601
1

로그를 본 것을 알 수 있습니다.

마치다
도움이 되셨다면 좋아요와 팔로우 부탁드립니다