[k8s への Rabbitmq のインストール] k8s への Rabbitmq のインストールとミラークラスターの構築に基づく

[k8sにrabbitmqをインストール] k8sにrabbitmqをインストールしてミラークラスタを構築する - pvc版

2024-07-12

記事ディレクトリ

導入

この記事で構築するrabbitmqクラスタは、rabbitmq_peer_discovery_k8sという形式で構築されており、プラグインはk8s APIからノード情報を自動で読み込み、rabbitmqクラスタを構築する方法となっているため、データが保証されている必要があります。永続化は、ホストパス + ノードアフィニティの形式をとることも、pvc の形式をとることもできます。この記事では、データを永続化するための pvc の使用について説明します。

1. 条件と環境の説明

k8s バージョン k8s-1.29.4 は共有ストレージの形式で構築されており、共有ストレージは Alibaba Cloud を使用したクラスターの場合、ハードウェアをマウントすることでデータの永続化を実現できます。ディスク、NAS、またはオブジェクトストレージ化の場合、共有ストレージを使用する場合の欠点は、読み取りおよび書き込みのパフォーマンスが低下するという一般的な問題です。

4.2. configmap 設定の作成

次の構成を autotest-rabbitmq-config.yaml に保存し、構成内でデフォルトの vhost とユーザーパスワードを構成し、クラスターノード [インストール前にノード名を計画する] 情報を初期化します。

apiVersion: v1
kind: ConfigMap
metadata:
  name: autozx-rabbitmq-config
  namespace: zx-app
  labels:
    appname: pcauto-zx
    app: autozx-rabbitmq-config 
data:
  enabled_plugins: |
    [rabbitmq_management,rabbitmq_peer_discovery_k8s].
  rabbitmq.conf: |
    cluster_name = autozx-rabbitmq
    listeners.tcp.default = 5672
    
    default_vhost = /
    default_user = admin
    default_pass = pconline

    default_user_tags.administrator = true
    default_user_tags.management = true
    default_user_tags.custom_tag = true

    channel_max = 1024
    tcp_listen_options.backlog = 2048

    cluster_formation.peer_discovery_backend = rabbit_peer_discovery_k8s
    cluster_formation.k8s.host = kubernetes.default.svc.cluster.local
    cluster_formation.k8s.address_type = hostname
    cluster_formation.node_cleanup.interval = 30
    cluster_formation.node_cleanup.only_log_warning = true

    cluster_partition_handling = autoheal

    queue_master_locator=min-masters
    loopback_users.guest = false
    cluster_formation.k8s.hostname_suffix = .autozx-rabbitmq.zx-app.svc.cluster.local
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

4.3. ステートフルセットとサービスのヘッドレス構成の作成

3部コピーを取る

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: autozx-rabbitmq 
  namespace: zx-app 
  labels:
    appname: pcauto-zx
    app: autozx-rabbitmq
spec:
  serviceName: "autozx-rabbitmq"
  replicas: 3
  selector:
    matchLabels:
      app: autozx-rabbitmq
  template:
    metadata:
      labels:
        app: autozx-rabbitmq
    spec:
      containers:
      - name: rabbitmq-server
        image: pcgroup-registry-vpc.cn-shenzhen.cr.aliyuncs.com/public/rabbitmq:3.12.14-management 
        imagePullPolicy: IfNotPresent
        env:
        - name: RABBITMQ_ERLANG_COOKIE
          value: "YZSDHWMFSMKEMBDHSGGZ"
        - name: K8S_SERVICE_NAME
          value: autozx-rabbitmq 
        - name: POD_IP
          valueFrom:
            fieldRef:
              fieldPath: status.podIP
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: RABBITMQ_USE_LONGNAME
          value: "true"
        - name: RABBITMQ_NODENAME
          value: rabbit@$(POD_NAME).$(K8S_SERVICE_NAME).$(POD_NAMESPACE).svc.cluster.local
        ports:
        - name: http
          containerPort: 15672 
        - name: amqp
          containerPort: 5672 
        readinessProbe:
          exec:
            command:
            - rabbitmq-diagnostics
            - status
          initialDelaySeconds: 20
          periodSeconds: 60
          timeoutSeconds: 10
        volumeMounts:
        - name: rbmq-data
          mountPath: /var/lib/rabbitmq
        - name: rabbitmq-config-volume
          mountPath: /etc/rabbitmq/ 
      restartPolicy: Always 
      serviceAccountName: rabbitmq-cluster
      terminationGracePeriodSeconds: 30
      volumes:
        - name: rabbitmq-config-volume
          configMap:
            name: autozx-rabbitmq-config
  volumeClaimTemplates:
  - metadata:
      name: rbmq-data
    spec:
      accessModes:
      - ReadWriteMany
      storageClassName: example-storageclass
      resources:
        requests:
          storage: 20Gi
---
apiVersion: v1
kind: Service
metadata:
  name: autozx-rabbitmq
  namespace: zx-app
  labels:
    appname: pcauto-zx
    app: autozx-rabbitmq
spec:
  ports:
  - port: 5672
  clusterIP: None
  selector:
    app: autozx-rabbitmq
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94

注: 同じポッドを同じノードに割り当てたくない場合は、次の構成を追加できます。

      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                  - key: "app"
                    operator: In
                    values:
                      - autozx-rabbitmq
              topologyKey: "kubernetes.io/hostname"
1
2
3
4
5
6
7
8
9
10

4.4. 認可設定

statefulset がノード情報を読み取ることを許可するように、serviceAccount、role、RoleBinding を構成します。

apiVersion: v1
kind: Service
metadata:
  name: autozx-rabbitmq-manage
  namespace: zx-app
  labels:
    app: autozx-rabbitmq-manage
    appname: pcauto-zx
spec:
  ports:
  - port: 5672
    name: amqp
  - port: 15672
    name: http
  selector:
    app: autozx-rabbitmq
  type: LoadBalancer 
[root@autobbs-docker-240-213 rabbitmq]# cat rbac.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: rabbitmq-cluster
  namespace: zx-app
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: rabbitmq-cluster
  namespace: zx-app
rules:
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["get"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: rabbitmq-cluster
  namespace: zx-app
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: rabbitmq-cluster
subjects:
- kind: ServiceAccount
  name: rabbitmq-cluster
  namespace: zx-app
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

4.5. サービス設定の作成

amqp ポート 5672 および管理ポート 15672 のサービスプロキシサービスを構成します。

apiVersion: v1
kind: Service
metadata:
  name: autozx-rabbitmq-manage
  namespace: zx-app
  labels:
    app: autozx-rabbitmq-manage
    appname: pcauto-zx
spec:
  ports:
  - port: 5672
    name: amqp
  - port: 15672
    name: http
  selector:
    app: autozx-rabbitmq
  type: LoadBalancer 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

5. インストール後の設定

Rabbitmq クラスターを 3 ノードミラークラスターに設定すると、ロードバランサーの IP: http://ip:15672 を介してコンソールにログインし、configmap で設定されたdefault_user とdefault_pass を使用できます。ログイン。

ミラーモード設定:

設定後:

ミラーリングモードは次のコマンドで設定できます。
デモ vhost のイメージ実行コマンドを設定します。
rabbitmqctl set_policy -p demo ha-all "^" '{"ha-mode":"all","ha-sync-mode":"automatic"}'
デフォルトの vhost/ のミラーリングモードを設定します。
rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all","ha-sync-mode":"automatic"}'

6. インストール手順

構成を使用する前に、構成内の autozx を必要な名前に置き換えます。構成された名前空間は zx-app です。独自の名前空間に変更します。appname は pcauto-zx です。このラベルは独自のアプリケーション名に変更することもできます。削除されます。
構成内のミラーアドレスは、プライベートミラーアドレスを使用します。ミラーは、dockerhub からダウンロードされ、プライベートミラーウェアハウスにミラーリングされる、rabbitmq:3.12.14 です。 -management を直接使用できます。それ以外の場合は、通過可能なミラーアドレスを設定します。
デフォルトのユーザー名とパスワードは admin です。
PVC テンプレートのストレージクラス: example-storageclass は独自のストレージクラスに変更されます。
「5. インストール後の設定」設定方法は同じなので、前回の記事のスクリーンショットを流用します。

技術共有