Compartilhamento de tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

---

Prefácio

Referência de construção e interpretação do Filebeat+ELK
Link:Aprendizagem k8s – processo detalhado de coleta de log ELK baseado em k8s
Este capítulo não repetirá a descrição

ambiente

máquina virtual

Versão centos7.9
Implantado k8s-1.27
O servidor ELK implementou o Filebeat+ELK

Ele é implementado executando filebeat (sidecar) no pod do aplicativo. Desta vez, o Tomcat será usado como exemplo para ilustrar.

1. Prepare o diretório de dados do Tomcat

Por padrão, não há arquivo de página inicial do site no contêiner do Tomcat. Se não for adicionado, o contêiner no pod não funcionará normalmente.

operação de host work01

mkdir /opt/tomcatwebroot
echo "tomcat is running" > /opt/tomcatwebroot/index.html
1
2

2. Escreva o arquivo de lista de recursos do aplicativo Tomcat

operação de host mestre

vim tomcat-logs.yaml
1

apiVersion: apps/v1
kind: Deployment
metadata:
  name: tomcat-demo
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      project: www
      app: tomcat-demo
  template:
    metadata:
      labels:
        project: www
        app: tomcat-demo
    spec:
      nodeName: worker01
      containers:
      - name: tomcat
        image: tomcat:latest
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080
          name: web
          protocol: TCP
        resources:
          requests:
            cpu: 0.5
            memory: 500Mi
          limits:
            cpu: 1
            memory: 1Gi
        livenessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        readinessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        volumeMounts:
        - name: tomcat-logs
          mountPath: /usr/local/tomcat/logs
        - name: tomcatwebroot
          mountPath: /usr/local/tomcat/webapps/ROOT

      - name: filebeat
        image: docker.io/elastic/filebeat:7.17.2
        imagePullPolicy: IfNotPresent
        args: [
          "-c", "/etc/filebeat.yml",
          "-e",
        ]
        resources:
          limits:
            memory: 500Mi
          requests:
            cpu: 100m
            memory: 100Mi
        securityContext:
          runAsUser: 0
        volumeMounts:
        - name: filebeat-config
          mountPath: /etc/filebeat.yml
          subPath: filebeat.yml
        - name: tomcat-logs
          mountPath: /usr/local/tomcat/logs
      volumes:
      - name: tomcat-logs
        emptyDir: {}
      - name: tomcatwebroot
        hostPath:
          path: /opt/tomcatwebroot
          type: Directory
      - name: filebeat-config
        configMap:
          name: filebeat-config
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-config
  namespace: default

data:
  filebeat.yml: |-
    filebeat.inputs:
    - type: log
      paths:
        - /usr/local/tomcat/logs/catalina.*

      fields:
        app: www
        type: tomcat-catalina
      fields_under_root: true
      multiline:
        pattern: '^['
        negate: true
        match: after

    setup.ilm.enabled: false
    setup.template.name: "tomcat-catalina"
    setup.template.pattern: "tomcat-catalina-*"

    output.logstash:
      hosts: ['192.168.10.17:5056']
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111

Este yaml define uma implantação do Tomcat e do Filebeat e arquivos de configuração do Filebeat. Vamos explicá-los separadamente.
Seção de implantação

apiVersion: apps/v1
kind: Deployment
metadata:
  name: tomcat-demo
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      project: www
      app: tomcat-demo
  template:
    metadata:
      labels:
        project: www
        app: tomcat-demo
    spec:
      nodeName: worker01
      containers:
      - name: tomcat
        image: tomcat:latest
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080
          name: web
          protocol: TCP
        resources:
          requests:
            cpu: 0.5
            memory: 500Mi
          limits:
            cpu: 1
            memory: 1Gi
        livenessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        readinessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        volumeMounts:
        - name: tomcat-logs
          mountPath: /usr/local/tomcat/logs
        - name: tomcatwebroot
          mountPath: /usr/local/tomcat/webapps/ROOT

      - name: filebeat
        image: docker.io/elastic/filebeat:7.17.2
        imagePullPolicy: IfNotPresent
        args: [
          "-c", "/etc/filebeat.yml",
          "-e",
        ]
        resources:
          limits:
            memory: 500Mi
          requests:
            cpu: 100m
            memory: 100Mi
        securityContext:
          runAsUser: 0
        volumeMounts:
        - name: filebeat-config
          mountPath: /etc/filebeat.yml
          subPath: filebeat.yml
        - name: tomcat-logs
          mountPath: /usr/local/tomcat/logs
      volumes:
      - name: tomcat-logs
        emptyDir: {}
      - name: tomcatwebroot
        hostPath:
          path: /opt/tomcatwebroot
          type: Directory
      - name: filebeat-config
        configMap:
          name: filebeat-config
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82

metadados: define o nome e o namespace da implantação.
spec: Contém a especificação detalhada da implantação.
réplicas: especifica o número de réplicas, ou seja, executando duas instâncias do Tomcat.
seletor: define um seletor para rótulos de pod correspondentes.
template: descreve o modelo do pod, incluindo metadados e especificações.
nodeName: especifica o nome do nó (worker01) onde o pod está sendo executado.
containers: Dois containers são definidos: Tomcat e Filebeat.

Contêiner Tomcat:
imagem: Use tomcat: imagem mais recente.
portas: exponha a porta 8080.
recursos: define solicitações e limites de recursos.
livenessProbe e readinessProbe: usados ​​para verificações de integridade.
volumeMounts: Dois volumes são montados.

Contêiner Filebeat:
imagem: Use a imagem filebeat:7.17.2.
args: especifica parâmetros de inicialização.
recursos: define solicitações e limites de recursos.
securityContext: execute como usuário root.
volumeMounts: Dois volumes são montados.

volumes:
tomcat-logs: Use volumes vaziosDir.
tomcatwebroot: Use o volume hostPath.
filebeat-config: Use volumes ConfigMap.

---

Seção do arquivo de configuração (ConfigMap)

apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-config
1
2
3
4

explicar
metadados: define o nome do ConfigMap.
data: deve conter o conteúdo de configuração do Filebeat (omitido aqui).

3. Escreva o arquivo de configuração logstash

configuração do host elk
Grave arquivos de configuração logstash sem afetar os arquivos de configuração anteriores

vim /etc/logstash/conf.d/tomcat-logstash-to-elastic.conf
1

input {
  beats {
    host => "0.0.0.0"
    port => "5056"
  }
}

filter {

}


output {
    elasticsearch {
      hosts => "192.168.10.17:9200"
      index => "tomcat-catalina-%{+yyyy.MM.dd}"
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

correr

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/tomcat-logstash-to-elastic.conf --path.data /usr/share/logstash/data3 &
1

Verifique se a porta está ativa

ss -anput | grep ":5056"
1

4. Aplicar arquivo de lista de recursos do Tomcat

operação de host mestre

kubectl apply -f tomcat-logs.yaml
1

Espere um pouco porque você precisa baixar a imagem
Então verifique o pod
Nota: VPN necessária

kubectl get deployment.apps
kubectl get pods
1
2

5. Verifique se o tomcat e o filebeat no pod estão normais

Ver logs gerados pelo Tomcat (-c: container)

Ver logs de coleta do filebeat

 kubectl logs tomcat-demo-664584f857-k8whd -c filebeat
1

6. Adicione índice à página kiana

Acesso ao navegador host

192.168.10.17:5601
1

Você pode ver que viu o log

Terminar
Se isso te ajudar, por favor clique e siga