[Instalando o RabbitMQ no K8s] Instalando o RabbitMQ e construindo um cluster de espelho no K8s

[Instalar RabbitMQ em K8s] Instale RabbitMQ e construa um cluster de espelho em K8s - versão PVC

2024-07-12

Diretório de artigos

Introdução

O cluster RabbitMQ construído neste artigo é construído na forma de RabbitMQ_peer_discovery_k8s. O plug-in lê automaticamente as informações do nó da API K8S e constrói o cluster RabbitMQ. O método de construção é um statefulset e três cópias, portanto, os dados devem ser garantidos. A persistência pode assumir a forma de hostpath + afinidade do nó ou pode assumir a forma de pvc. Este artigo descreverá o uso de pvc para persistir dados.

1. Condições e descrição do ambiente

A versão k8s k8s-1.29.4 é construída na forma de armazenamento compartilhado. O armazenamento compartilhado é na forma de root-ceph autoconstruído. Se for um cluster usando Alibaba Cloud, a persistência de dados pode ser alcançada montando um disco rígido. armazenamento em disco, NAS ou objeto, a desvantagem de usar armazenamento compartilhado é o problema comum de baixo desempenho de leitura e gravação.

4.2. Criar configuração do configmap

Salve a configuração a seguir em autotest-rabbitmq-config.yaml, configure o vhost padrão e a senha do usuário na configuração e inicialize as informações do nó do cluster [planeje o nome do nó antes da instalação].

apiVersion: v1
kind: ConfigMap
metadata:
  name: autozx-rabbitmq-config
  namespace: zx-app
  labels:
    appname: pcauto-zx
    app: autozx-rabbitmq-config 
data:
  enabled_plugins: |
    [rabbitmq_management,rabbitmq_peer_discovery_k8s].
  rabbitmq.conf: |
    cluster_name = autozx-rabbitmq
    listeners.tcp.default = 5672
    
    default_vhost = /
    default_user = admin
    default_pass = pconline

    default_user_tags.administrator = true
    default_user_tags.management = true
    default_user_tags.custom_tag = true

    channel_max = 1024
    tcp_listen_options.backlog = 2048

    cluster_formation.peer_discovery_backend = rabbit_peer_discovery_k8s
    cluster_formation.k8s.host = kubernetes.default.svc.cluster.local
    cluster_formation.k8s.address_type = hostname
    cluster_formation.node_cleanup.interval = 30
    cluster_formation.node_cleanup.only_log_warning = true

    cluster_partition_handling = autoheal

    queue_master_locator=min-masters
    loopback_users.guest = false
    cluster_formation.k8s.hostname_suffix = .autozx-rabbitmq.zx-app.svc.cluster.local
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

4.3. Criar configurações statefulset e sem comando de serviço

Tire 3 cópias

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: autozx-rabbitmq 
  namespace: zx-app 
  labels:
    appname: pcauto-zx
    app: autozx-rabbitmq
spec:
  serviceName: "autozx-rabbitmq"
  replicas: 3
  selector:
    matchLabels:
      app: autozx-rabbitmq
  template:
    metadata:
      labels:
        app: autozx-rabbitmq
    spec:
      containers:
      - name: rabbitmq-server
        image: pcgroup-registry-vpc.cn-shenzhen.cr.aliyuncs.com/public/rabbitmq:3.12.14-management 
        imagePullPolicy: IfNotPresent
        env:
        - name: RABBITMQ_ERLANG_COOKIE
          value: "YZSDHWMFSMKEMBDHSGGZ"
        - name: K8S_SERVICE_NAME
          value: autozx-rabbitmq 
        - name: POD_IP
          valueFrom:
            fieldRef:
              fieldPath: status.podIP
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: RABBITMQ_USE_LONGNAME
          value: "true"
        - name: RABBITMQ_NODENAME
          value: rabbit@$(POD_NAME).$(K8S_SERVICE_NAME).$(POD_NAMESPACE).svc.cluster.local
        ports:
        - name: http
          containerPort: 15672 
        - name: amqp
          containerPort: 5672 
        readinessProbe:
          exec:
            command:
            - rabbitmq-diagnostics
            - status
          initialDelaySeconds: 20
          periodSeconds: 60
          timeoutSeconds: 10
        volumeMounts:
        - name: rbmq-data
          mountPath: /var/lib/rabbitmq
        - name: rabbitmq-config-volume
          mountPath: /etc/rabbitmq/ 
      restartPolicy: Always 
      serviceAccountName: rabbitmq-cluster
      terminationGracePeriodSeconds: 30
      volumes:
        - name: rabbitmq-config-volume
          configMap:
            name: autozx-rabbitmq-config
  volumeClaimTemplates:
  - metadata:
      name: rbmq-data
    spec:
      accessModes:
      - ReadWriteMany
      storageClassName: example-storageclass
      resources:
        requests:
          storage: 20Gi
---
apiVersion: v1
kind: Service
metadata:
  name: autozx-rabbitmq
  namespace: zx-app
  labels:
    appname: pcauto-zx
    app: autozx-rabbitmq
spec:
  ports:
  - port: 5672
  clusterIP: None
  selector:
    app: autozx-rabbitmq
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94

Observação: se quiser evitar atribuir o mesmo pod ao mesmo nó, você poderá adicionar a seguinte configuração:

      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                  - key: "app"
                    operator: In
                    values:
                      - autozx-rabbitmq
              topologyKey: "kubernetes.io/hostname"
1
2
3
4
5
6
7
8
9
10

4.4.Configuração de autorização

Configure serviceAccount, role e RoleBinding para autorizar statefulset a ler informações do nó

apiVersion: v1
kind: Service
metadata:
  name: autozx-rabbitmq-manage
  namespace: zx-app
  labels:
    app: autozx-rabbitmq-manage
    appname: pcauto-zx
spec:
  ports:
  - port: 5672
    name: amqp
  - port: 15672
    name: http
  selector:
    app: autozx-rabbitmq
  type: LoadBalancer 
[root@autobbs-docker-240-213 rabbitmq]# cat rbac.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: rabbitmq-cluster
  namespace: zx-app
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: rabbitmq-cluster
  namespace: zx-app
rules:
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["get"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: rabbitmq-cluster
  namespace: zx-app
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: rabbitmq-cluster
subjects:
- kind: ServiceAccount
  name: rabbitmq-cluster
  namespace: zx-app
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

4.5. Criar configuração de serviço

Configure um serviço de proxy de serviço para a porta amqp 5672 e a porta de gerenciamento 15672.

apiVersion: v1
kind: Service
metadata:
  name: autozx-rabbitmq-manage
  namespace: zx-app
  labels:
    app: autozx-rabbitmq-manage
    appname: pcauto-zx
spec:
  ports:
  - port: 5672
    name: amqp
  - port: 15672
    name: http
  selector:
    app: autozx-rabbitmq
  type: LoadBalancer 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

5. Configuração após instalação

Defina o cluster RabbitMQ para um cluster de espelho de 3 nós. Depois de concluir a etapa 4.4, você pode fazer login no console por meio do IP do balanceador de carga: http://ip:15672 e usar default_user e default_pass definidos no configmap para. Conecte-se.

Configurações do modo espelho:

Depois de configurar:

O modo de espelhamento pode ser definido com o comando:
Defina o comando de execução de imagem do demo vhost:
rabbitmqctl set_policy -p demo ha-all "^" '{"ha-mode":"all","ha-sync-mode":"automatic"}'
Defina o modo de espelhamento para vhost/ padrão:
rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all","ha-sync-mode":"automatic"}'

6. Instruções de instalação

Antes de usar a configuração, substitua autozx na configuração pelo nome que você precisa. O namespace configurado é: zx-app, altere-o para seu próprio namespace, appname é pcauto-zx, altere-o para o nome de seu próprio aplicativo, este rótulo também pode. ser excluído.
O endereço do espelho na configuração usa um endereço de espelho privado. O espelho é RabbitMQ:3.12.14-Management baixado do Dockerhub e espelhado para o armazém de espelho privado, se puder se conectar diretamente ao K8s na rede externa, RabbitMQ:3.12.14. -gestão pode ser usada diretamente. Caso contrário, configure um endereço de espelho aceitável.
O nome de usuário e a senha padrão são admin.
A classe de armazenamento no modelo pvc: example-storageclass é modificada para sua própria classe de armazenamento
"5. Configuração após instalação" Como os métodos de configuração são os mesmos, a captura de tela do artigo anterior é usada.

Compartilhamento de tecnologia