[Установка RabbitMQ в K8s] На основе установки RabbitMQ и создания зеркального кластера в K8s

[Установить RabbitMQ в k8s] Установите RabbitMQ и создайте зеркальный кластер в K8s - версия pvc

2024-07-12

Каталог статей

Введение

Кластер RabbitMQ, созданный в этой статье, построен в виде Rabbitmq_peer_discovery_k8s. Плагин автоматически считывает информацию об узлах из API k8s и создает кластер RabbitMQ. Метод построения — это набор состояний и три копии, поэтому данные должны быть гарантированы. Сохранение может принимать форму пути к хосту + привязка узла или форму pvc. В этой статье будет описано использование pvc для сохранения данных.

1. Описание условий и окружающей среды.

Версия k8s k8s-1.29.4 построена в виде общего хранилища. Общее хранилище представляет собой самостоятельный корневой цеф. Если это кластер с использованием Alibaba Cloud, постоянство данных может быть достигнуто путем установки жесткого диска. При использовании дискового, сетевого или объектного хранилища недостатком использования общего хранилища является распространенная проблема низкой производительности чтения и записи.

4.2. Создайте конфигурацию карты конфигурации.

Сохраните следующую конфигурацию в autotest-rabbitmq-config.yaml, настройте виртуальный хост по умолчанию и пароль пользователя в конфигурации и инициализируйте информацию об узле кластера [запланируйте имя узла перед установкой].

apiVersion: v1
kind: ConfigMap
metadata:
  name: autozx-rabbitmq-config
  namespace: zx-app
  labels:
    appname: pcauto-zx
    app: autozx-rabbitmq-config 
data:
  enabled_plugins: |
    [rabbitmq_management,rabbitmq_peer_discovery_k8s].
  rabbitmq.conf: |
    cluster_name = autozx-rabbitmq
    listeners.tcp.default = 5672
    
    default_vhost = /
    default_user = admin
    default_pass = pconline

    default_user_tags.administrator = true
    default_user_tags.management = true
    default_user_tags.custom_tag = true

    channel_max = 1024
    tcp_listen_options.backlog = 2048

    cluster_formation.peer_discovery_backend = rabbit_peer_discovery_k8s
    cluster_formation.k8s.host = kubernetes.default.svc.cluster.local
    cluster_formation.k8s.address_type = hostname
    cluster_formation.node_cleanup.interval = 30
    cluster_formation.node_cleanup.only_log_warning = true

    cluster_partition_handling = autoheal

    queue_master_locator=min-masters
    loopback_users.guest = false
    cluster_formation.k8s.hostname_suffix = .autozx-rabbitmq.zx-app.svc.cluster.local
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

4.3. Создание конфигураций с контролем состояния и обслуживания без заголовка.

Возьмите 3 копии

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: autozx-rabbitmq 
  namespace: zx-app 
  labels:
    appname: pcauto-zx
    app: autozx-rabbitmq
spec:
  serviceName: "autozx-rabbitmq"
  replicas: 3
  selector:
    matchLabels:
      app: autozx-rabbitmq
  template:
    metadata:
      labels:
        app: autozx-rabbitmq
    spec:
      containers:
      - name: rabbitmq-server
        image: pcgroup-registry-vpc.cn-shenzhen.cr.aliyuncs.com/public/rabbitmq:3.12.14-management 
        imagePullPolicy: IfNotPresent
        env:
        - name: RABBITMQ_ERLANG_COOKIE
          value: "YZSDHWMFSMKEMBDHSGGZ"
        - name: K8S_SERVICE_NAME
          value: autozx-rabbitmq 
        - name: POD_IP
          valueFrom:
            fieldRef:
              fieldPath: status.podIP
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: RABBITMQ_USE_LONGNAME
          value: "true"
        - name: RABBITMQ_NODENAME
          value: rabbit@$(POD_NAME).$(K8S_SERVICE_NAME).$(POD_NAMESPACE).svc.cluster.local
        ports:
        - name: http
          containerPort: 15672 
        - name: amqp
          containerPort: 5672 
        readinessProbe:
          exec:
            command:
            - rabbitmq-diagnostics
            - status
          initialDelaySeconds: 20
          periodSeconds: 60
          timeoutSeconds: 10
        volumeMounts:
        - name: rbmq-data
          mountPath: /var/lib/rabbitmq
        - name: rabbitmq-config-volume
          mountPath: /etc/rabbitmq/ 
      restartPolicy: Always 
      serviceAccountName: rabbitmq-cluster
      terminationGracePeriodSeconds: 30
      volumes:
        - name: rabbitmq-config-volume
          configMap:
            name: autozx-rabbitmq-config
  volumeClaimTemplates:
  - metadata:
      name: rbmq-data
    spec:
      accessModes:
      - ReadWriteMany
      storageClassName: example-storageclass
      resources:
        requests:
          storage: 20Gi
---
apiVersion: v1
kind: Service
metadata:
  name: autozx-rabbitmq
  namespace: zx-app
  labels:
    appname: pcauto-zx
    app: autozx-rabbitmq
spec:
  ports:
  - port: 5672
  clusterIP: None
  selector:
    app: autozx-rabbitmq
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94

Примечание. Если вы не хотите назначать один и тот же модуль одному и тому же узлу, вы можете добавить следующую конфигурацию:

      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                  - key: "app"
                    operator: In
                    values:
                      - autozx-rabbitmq
              topologyKey: "kubernetes.io/hostname"
1
2
3
4
5
6
7
8
9
10

4.4. Настройка авторизации.

Настройте serviceAccount, role и RoleBinding, чтобы разрешить statefulset читать информацию об узле.

apiVersion: v1
kind: Service
metadata:
  name: autozx-rabbitmq-manage
  namespace: zx-app
  labels:
    app: autozx-rabbitmq-manage
    appname: pcauto-zx
spec:
  ports:
  - port: 5672
    name: amqp
  - port: 15672
    name: http
  selector:
    app: autozx-rabbitmq
  type: LoadBalancer 
[root@autobbs-docker-240-213 rabbitmq]# cat rbac.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: rabbitmq-cluster
  namespace: zx-app
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: rabbitmq-cluster
  namespace: zx-app
rules:
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["get"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: rabbitmq-cluster
  namespace: zx-app
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: rabbitmq-cluster
subjects:
- kind: ServiceAccount
  name: rabbitmq-cluster
  namespace: zx-app
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

4.5. Создайте конфигурацию сервиса.

Настройте службу прокси-сервера для порта amqp 5672 и порта управления 15672.

apiVersion: v1
kind: Service
metadata:
  name: autozx-rabbitmq-manage
  namespace: zx-app
  labels:
    app: autozx-rabbitmq-manage
    appname: pcauto-zx
spec:
  ports:
  - port: 5672
    name: amqp
  - port: 15672
    name: http
  selector:
    app: autozx-rabbitmq
  type: LoadBalancer 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

5. Настройка после установки

Установите для кластера RabbitMQ зеркальный кластер с 3 узлами. После выполнения шага 4.4 вы можете войти в консоль через IP-адрес балансировщика нагрузки: http://ip:15672 и использовать default_user и default_pass, установленные в карте конфигурации. авторизоваться.

Настройки режима зеркала:

После установки:

Режим зеркалирования можно установить командой:
Установите команду выполнения образа демонстрационного vhost:
rabbitmqctl set_policy -p demo ha-all "^" '{"ha-mode":"all","ha-sync-mode":"automatic"}'
Установите режим зеркалирования для vhost по умолчанию/:
rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all","ha-sync-mode":"automatic"}'

6. Инструкции по установке

Перед использованием конфигурации замените autozx в конфигурации на нужное вам имя. Настроенное пространство имен: zx-app, измените его на свое собственное пространство имен, имя приложения — pcauto-zx, измените его на собственное имя приложения, эту метку также можно использовать. быть удалено.
Адрес зеркала в конфигурации использует адрес частного зеркала. Зеркало — Rabbitmq:3.12.14-management, загруженное из dockerhub и зеркально отображенное в хранилище частных зеркал. Если оно может напрямую подключаться к k8s во внешней сети, то Rabbitmq:3.12.14. -Управление может использоваться напрямую. В противном случае настройте допустимый адрес зеркала.
Имя пользователя и пароль по умолчанию — admin.
Класс хранения в шаблоне pvc: example-storageclass изменен на ваш собственный класс хранения.
«5. Настройка после установки» Поскольку способы настройки одинаковы, использован скриншот из предыдущей статьи.

Обмен технологиями