Обмен технологиями

Йивэнь учится использовать Helm для развертывания кластера высокой доступности Rancher

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Схема архитектуры кластера Rancher

Helm развертывает кластер высокой доступности Rancher

Введение в Хелм

Helm — это инструмент управления пакетами для Kubernetes, используемый для упрощения развертывания и управления приложениями Kubernetes. Helm можно сравнить с инструментом yum в CentOS. В Helm есть следующие основные концепции:

Диаграмма: это установочный пакет, управляемый Helm, который содержит ресурсы установочного пакета, которые необходимо развернуть. Диаграмму можно сравнить с RPM-файлом, используемым CentOS yum.

Релиз. Это экземпляр развертывания диаграммы. Чарт может иметь несколько выпусков в кластере Kubernetes, то есть диаграмму можно устанавливать несколько раз.

Репозиторий: хранилище диаграмм, используемое для публикации и хранения диаграмм.

скачать:https://github.com/helm/helm/releases

Проверьте состояние модулей

  1. kubectl get pods --namespace=kube-system
  2. kubectl get pods --all-namespaces

Если вы хотите удалить его, сначала найдите развертывание, а затем удалите его.

  1. kangming@ubuntu26:~$ kubectl get deployment --namespace=kube-system
  2. NAMEREADY UP-TO-DATE AVAILABLE AGE
  3. calico-kube-controllers 1/1 11 4h23m
  4. coredns 2/2 22 4h22m
  5. coredns-autoscaler1/1 11 4h22m
  6. metrics-server1/1 11 4h18m
  7. tiller-deploy 0/1 10 4h15m
  8.  
  9. kangming@ubuntu26:~$ kubectl delete deployment tiller-deploy --namespace=kube-system
  10. deployment.apps "tiller-deploy" deleted

Если вы хотите просмотреть модуль подробно, вы можете описать

kubectl describe pod rke-coredns-addon-deploy-job-qz8v6--namespace=kube-system

установка helm3

Последняя стабильная версия: v3.9.2.

скачать

https://get.helm.sh/helm-v3.9.2-linux-amd64.tar.gz

Установить

  1. tar -zxvf helm-v3.9.2-linux-amd64.tar.gz
  2. sudo mv linux-amd64/helm /usr/local/bin/helm 
  3. sudo chmod +x /usr/local/bin/helm

Ознакомьтесь с официальной документацией:

Руль | Документы

Рулевое руководство | Краткое руководство

Добавить склад диаграмм

helm repo add bitnami https://charts.bitnami.com/bitnami

Посмотреть список устанавливаемых карт

  1. kangming@ubuntu26:~/rancher$ helm search repo bitnami
  2. NAMECHART VERSION APP VERSION DESCRIPTION
  3. bitnami/airflow 13.0.22.3.3 Apache Airflow is a tool to express and execute...
  4. bitnami/apache9.1.162.4.54Apache HTTP Server is an open-source HTTP serve...
  5. bitnami/argo-cd 4.0.6 2.4.8 Argo CD is a continuous delivery tool for Kuber...
  6. bitnami/argo-workflows2.3.8 3.3.8 Argo Workflows is meant to orchestrate Kubernet...

Пример схемы установки

  1. ##确定我们可以拿到最新的charts列表
  2. helm repo update
  3.  
  4. #安装一个mysql的chat示例
  5. helm install bitnami/mysql --generate-name
  6. NAME: mysql-1659686641
  7. LAST DEPLOYED: Fri Aug5 16:04:04 2022
  8. NAMESPACE: default
  9. STATUS: deployed
  10. REVISION: 1
  11. TEST SUITE: None
  12. NOTES:
  13. CHART NAME: mysql
  14. CHART VERSION: 9.2.5
  15. APP VERSION: 8.0.30
  16.  
  17. ** Please be patient while the chart is being deployed **
  18.  
  19. Tip:
  20.  
  21. Watch the deployment status using the command: kubectl get pods -w --namespace default
  22.  
  23. Services:
  24.  
  25. echo Primary: mysql-1659686641.default.svc.cluster.local:3306
  26.  
  27. Execute the following to get the administrator credentials:
  28.  
  29. echo Username: root
  30. MYSQL_ROOT_PASSWORD=$(kubectl get secret --namespace default mysql-1659686641 -o jsonpath="{.data.mysql-root-password}" | base64 -d)
  31.  
  32. To connect to your database:
  33.  
  34. 1. Run a pod that you can use as a client:
  35.  
  36. kubectl run mysql-1659686641-client --rm --tty -i --restart='Never' --imagedocker.io/bitnami/mysql:8.0.30-debian-11-r4 --namespace default --env MYSQL_ROOT_PASSWORD=$MYSQL_ROOT_PASSWORD --command -- bash
  37.  
  38. 2. To connect to primary service (read/write):
  39.  
  40. mysql -h mysql-1659686641.default.svc.cluster.local -uroot -p"$MYSQL_ROOT_PASSWORD"

В приведенном выше примере диаграмма bitnami/mysql публикуется с именем mysql-1659686641. Когда мы перечислим все модули, мы обнаружим, что модулей MySQL больше.

Вы можете просто изучить основную информацию об этой диаграмме, выполнив команду helm showchart bitnami/mysql. Или вы можете выполнить helm show all bitnami/mysql, чтобы получить всю информацию о графике.

Всякий раз, когда вы выполняете установку Helm, создается новая версия выпуска. Таким образом, диаграмму можно устанавливать несколько раз в одном кластере, и каждой из них можно независимо управлять и обновлять.

Дополнительную информацию о том, как использовать шлем, см.:https://helm.sh/zh/docs/intro/using_helm/

С помощью Helm вы можете легко увидеть, какие диаграммы были опубликованы.

  1. kangming@ubuntu26:~/rancher$ helm list
  2. NAMENAMESPACE REVISIONUPDATED STATUSCHART APP VERSION
  3. mysql-1659686641default 1 2022-08-05 16:04:04.411386078 +0800 CST deployedmysql-9.2.5 8.0.30

Удаление версии

  1. kangming@ubuntu26:~/rancher$ helm uninstall mysql-1659686641
  2. release "mysql-1659686641" uninstalled

Эта команда удалит mysql-1659686641 из Kubernetes. Она удалит все связанные ресурсы (сервис, развертывание, модуль и т. д.), связанные с этой версией, и даже историю версий.

Если вы укажете опцию --keep-history при выполнении удаления Helm, Helm сохранит историю версий. Посмотреть информацию об этой версии можно через команду

helm status mysql-1659686641

справочная документация по Helm

helm get -h

поиск руля

  • хаб поиска руля изАртефакт Хаб Найдите и перечислите схемы рулевого управления в формате . В Artifact Hub хранится множество различных репозиториев.

  • Репозиторий поиска Helm выполняет поиск из репозиториев, которые вы добавили (с помощью добавления репозитория Helm) в локальный клиент Helm. Эта команда выполняет поиск на основе локальных данных и не требует подключения к Интернету.

Используйте команду установки helm, чтобы установить новый пакет helm. Самый простой метод использования требует передачи только двух параметров: имени выпуска, который вы назвали, и имени диаграммы, которую вы хотите установить.

helm install happy-panda bitnami/wordpress

Helm3 устанавливает rancher (метод самозаверяющего сертификата)

1. Добавьте адрес склада Chart.

helm repo add rancher-latest 
https://releases.rancher.com/server-charts/latest

2. Создать сертификат определения

Для справки:Создать самозаверяющий SSL-сертификат

Сценарий генерации сертификата в один клик, официальный владелец ранчо, сохранить как key.sh

  1. #!/bin/bash -e
  2.  
  3. help ()
  4. {
  5. echo' ================================================================ '
  6. echo' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'
  7. echo' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'
  8. echo' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'
  9. echo' --ssl-size: ssl加密位数，默认2048；'
  10. echo' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
  11. echo' 使用示例:'
  12. echo' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com  '
  13. echo' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
  14. echo' ================================================================'
  15. }
  16.  
  17. case "$1" in
  18. -h|--help) help; exit;;
  19. esac
  20.  
  21. if [[ $1 == '' ]];then
  22. help;
  23. exit;
  24. fi
  25.  
  26. CMDOPTS="$*"
  27. for OPTS in $CMDOPTS;
  28. do
  29. key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
  30. value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
  31. case "$key" in
  32. --ssl-domain) SSL_DOMAIN=$value ;;
  33. --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
  34. --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
  35. --ssl-size) SSL_SIZE=$value ;;
  36. --ssl-date) SSL_DATE=$value ;;
  37. --ca-date) CA_DATE=$value ;;
  38. --ssl-cn) CN=$value ;;
  39. esac
  40. done
  41.  
  42. # CA相关配置
  43. CA_DATE=${CA_DATE:-3650}
  44. CA_KEY=${CA_KEY:-cakey.pem}
  45. CA_CERT=${CA_CERT:-cacerts.pem}
  46. CA_DOMAIN=cattle-ca
  47.  
  48. # ssl相关配置
  49. SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
  50. SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
  51. SSL_DATE=${SSL_DATE:-3650}
  52. SSL_SIZE=${SSL_SIZE:-2048}
  53.  
  54. ## 国家代码(2个字母的代号),默认CN;
  55. CN=${CN:-CN}
  56.  
  57. SSL_KEY=$SSL_DOMAIN.key
  58. SSL_CSR=$SSL_DOMAIN.csr
  59. SSL_CERT=$SSL_DOMAIN.crt
  60.  
  61. echo -e "033[32m ---------------------------- 033[0m"
  62. echo -e "033[32m | 生成 SSL Cert | 033[0m"
  63. echo -e "033[32m ---------------------------- 033[0m"
  64.  
  65. if [[ -e ./${CA_KEY} ]]; then
  66. echo -e "033[32m ====> 1. 发现已存在CA私钥，备份"${CA_KEY}"为"${CA_KEY}"-bak，然后重新创建 033[0m"
  67. mv ${CA_KEY} "${CA_KEY}"-bak
  68. openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
  69. else
  70. echo -e "033[32m ====> 1. 生成新的CA私钥 ${CA_KEY} 033[0m"
  71. openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
  72. fi
  73.  
  74. if [[ -e ./${CA_CERT} ]]; then
  75. echo -e "033[32m ====> 2. 发现已存在CA证书，先备份"${CA_CERT}"为"${CA_CERT}"-bak，然后重新创建 033[0m"
  76. mv ${CA_CERT} "${CA_CERT}"-bak
  77. openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
  78. else
  79. echo -e "033[32m ====> 2. 生成新的CA证书 ${CA_CERT} 033[0m"
  80. openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
  81. fi
  82.  
  83. echo -e "033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} 033[0m"
  84. cat > ${SSL_CONFIG} <<EOM
  85. [req]
  86. req_extensions = v3_req
  87. distinguished_name = req_distinguished_name
  88. [req_distinguished_name]
  89. [ v3_req ]
  90. basicConstraints = CA:FALSE
  91. keyUsage = nonRepudiation, digitalSignature, keyEncipherment
  92. extendedKeyUsage = clientAuth, serverAuth
  93. EOM
  94.  
  95. if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} || -n ${SSL_DOMAIN} ]]; then
  96. cat >> ${SSL_CONFIG} <<EOM
  97. subjectAltName = @alt_names
  98. [alt_names]
  99. EOM
  100. IFS=","
  101. dns=(${SSL_TRUSTED_DOMAIN})
  102. dns+=(${SSL_DOMAIN})
  103. for i in "${!dns[@]}"; do
  104. echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
  105. done
  106.  
  107. if [[ -n ${SSL_TRUSTED_IP} ]]; then
  108. ip=(${SSL_TRUSTED_IP})
  109. for i in "${!ip[@]}"; do
  110. echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
  111. done
  112. fi
  113. fi
  114.  
  115. echo -e "033[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} 033[0m"
  116. openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}
  117.  
  118. echo -e "033[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} 033[0m"
  119. openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}
  120.  
  121. echo -e "033[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} 033[0m"
  122. openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} 
  123. -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} 
  124. -days ${SSL_DATE} -extensions v3_req 
  125. -extfile ${SSL_CONFIG}
  126.  
  127. echo -e "033[32m ====> 7. 证书制作完成 033[0m"
  128. echo
  129. echo -e "033[32m ====> 8. 以YAML格式输出结果 033[0m"
  130. echo "----------------------------------------------------------"
  131. echo "ca_key: |"
  132. cat $CA_KEY | sed 's/^//'
  133. echo
  134. echo "ca_cert: |"
  135. cat $CA_CERT | sed 's/^//'
  136. echo
  137. echo "ssl_key: |"
  138. cat $SSL_KEY | sed 's/^//'
  139. echo
  140. echo "ssl_csr: |"
  141. cat $SSL_CSR | sed 's/^//'
  142. echo
  143. echo "ssl_cert: |"
  144. cat $SSL_CERT | sed 's/^//'
  145. echo
  146.  
  147. echo -e "033[32m ====> 9. 附加CA证书到Cert文件 033[0m"
  148. cat ${CA_CERT} >> ${SSL_CERT}
  149. echo "ssl_cert: |"
  150. cat $SSL_CERT | sed 's/^//'
  151. echo
  152.  
  153. echo -e "033[32m ====> 10. 重命名服务证书 033[0m"
  154. echo "cp ${SSL_DOMAIN}.key tls.key"
  155. cp ${SSL_DOMAIN}.key tls.key
  156. echo "cp ${SSL_DOMAIN}.crt tls.crt"
  157. cp ${SSL_DOMAIN}.crt tls.crt

осуществлять

bash ./key.sh --ssl-domain=rancher.k8s-test.com--ssl-size=2048 --ssl-date=3650

Сгенерированный файл выглядит следующим образом

3. Создайте секретное пространство имен.

kubectl create namespace cattle-system

4. Сертификат обслуживания и зашифрованный текст закрытого ключа.

  1. kubectl -n cattle-system create secret tls tls-rancher-ingress 
  2. --cert=tls.crt 
  3. --key=tls.key

Если вам необходимо заменить сертификат, вы можете использоватьkubectl -n cattle-system delete secret tls-rancher-ingressудалитьtls-rancher-ingress зашифрованный текст, а затем используйте приведенную выше команду для создания нового зашифрованного текста. Если вы используете сертификат, подписанный частным центром сертификации, вы можете заменить новый сертификат только в том случае, если он подписан тем же центром сертификации, что и текущий сертификат.

Зашифрованный текст сертификата 5.ca

  1. kubectl -n cattle-system create secret generic tls-ca 
  2. --from-file=cacerts.pem=./cacerts.pem

6. Выполняем установку ранчера

  1. helm install rancher rancher-latest/rancher 
  2. --namespace cattle-system 
  3. --set hostname=rancher.k8s-test.com 
  4. --set bootstrapPassword=admin 
  5. --set ingress.tls.source=secret 
  6. --set privateCA=true

7. Проверьте статус и дождитесь успешного развертывания и готовности всех узлов.

  1. kangming@ubuntu26:~$ kubectl -n cattle-system rollout status deploy/rancher
  2. deployment "rancher" successfully rolled out
  3. kangming@ubuntu26:~$ kubectl -n cattle-system get deploy rancher
  4. NAMEREADY UP-TO-DATE AVAILABLE AGE
  5. rancher 3/3 33 40m

Проверьте состояние модуля. Когда модуль владельца ранчо будет готов, вы сможете получить к нему доступ через браузер: rancher.k8s-test.com. Это доменное имя можно сопоставить с узлом балансировки нагрузки. Потому что приведенная выше установка по умолчанию запускает под на всех рабочих узлах. Итак, ниже nginx настраивает порты 80 и 443 трех узлов.

  1. kubectl get pods --all-namespaces
  2. 或者
  3. kubectl get pods -n cattle-system
  4.  
  5. #查看rancher pod状态
  6. kubectl describe podrancher-ff955865-29ljr --namespace=cattle-system
  7. #一次看所有rancher pod
  8. kubectl -n cattle-system describe pods -l app=rancher

Вышеуказанное имя хоста может быть преобразовано в узел балансировки нагрузки, который обычно представляет собой виртуальный VIP, виртуализированный с помощью Keepalived. Для удобства здесь используется только один узел LB, который напрямую разрешается до 24, а затем балансировка нагрузки выполняется через nginx, равный 24.

Поиск неисправностей

Просмотр журналов модуля Rancher

  1. kubectl get pods -n cattle-system
  2.  
  3. kubectl -n cattle-system logs -f rancher-5d9699f4cf-72wgp

Настроить балансировку нагрузки

Просто настройте его на 24 узле балансировки нагрузки и скопируйте сгенерированный скриптом сертификат на 24.

sudo vi /etc/nginx/nignx.conf

  1. stream {
  2. upstream rancher_servers_http {
  3. least_conn;
  4. server 192.168.43.26:80 max_fails=3 fail_timeout=5s;
  5. server 192.168.43.27:80 max_fails=3 fail_timeout=5s;
  6. server 192.168.43.28:80 max_fails=3 fail_timeout=5s;
  7. }
  8. server {
  9. listen 80;
  10. proxy_pass rancher_servers_http;
  11. }
  12.  
  13. upstream rancher_servers_https {
  14. least_conn;
  15. server 192.168.43.26:443 max_fails=3 fail_timeout=5s;
  16. server 192.168.43.27:443 max_fails=3 fail_timeout=5s;
  17. server 192.168.43.28:443 max_fails=3 fail_timeout=5s;
  18. }
  19. server {
  20. listen 443;
  21. proxy_pass rancher_servers_https;
  22. }
  23. }

доступ:https://rancher.k8s-test.com

Пароль начальной загрузки — admin, учетная запись для входа — admin, в качестве пароля используйте случайный код: 1BgV0yLx19YkIhOv

Нажмите «Продолжить», чтобы войти на страницу управления.

helm3 устанавливает rancher (rancher поставляется со своим собственным менеджером сертификатов)

Обратитесь к предыдущим предварительным требованиям, установите кластер k8s через rke и подготовьте среду управления.

1. Добавить склад управления

  1. helm repo add rancher-latest 
  2. https://releases.rancher.com/server-charts/latest

2. Создайте пространство имен

kubectl create namespace cattle-system

3. Для управления сертификатами выберите метод сертификата TLS, созданного Rancher.

4. Установите диспетчер сертификатов. Установка требуется только в том случае, если вы выбрали метод сертификата TLS, сгенерированного Rancher.

  1. # If you have installed the CRDs manually instead of with the `--set installCRDs=true` option added to your Helm install command, you should upgrade your CRD resources before upgrading the Helm chart:
  2.  
  3. kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.7.1/cert-manager.crds.yaml
  4.  
  5. # Add the Jetstack Helm repository
  6. helm repo add jetstack https://charts.jetstack.io
  7.  
  8. # Update your local Helm chart repository cache
  9. helm repo update
  10.  
  11. # Install the cert-manager Helm chart
  12. helm install cert-manager jetstack/cert-manager 
  13. --namespace cert-manager 
  14. --create-namespace 
  15. --version v1.7.1

Убедитесь, что менеджер сертификатов установлен правильно.

kubectl get pods --namespace cert-manager

5. Установите rancher и используйте поддельное доменное имя в качестве имени хоста, чтобы rancher раскрыл IP-адрес.

  1. helm install rancher rancher-latest/rancher 
  2. --namespace cattle-system 
  3. --set hostname=rancher.my.org 
  4. --set bootstrapPassword=admin

6. Подождите, пока развертывание завершится успешно.

  1. kangming@ubuntu26:~$ kubectl -n cattle-system rollout status deploy/rancher
  2. deployment "rancher" successfully rolled out
  3. kangming@ubuntu26:~$ kubectl -n cattle-system get deploy rancher
  4. NAMEREADY UP-TO-DATE AVAILABLE AGE
  5. rancher 3/3 33 40m

В случае успеха просто сопоставьте доменное имя rancher.my.org с тремя узлами для тестирования. После успешного просмотра страницы будет показано, что установка прошла успешно. Далее вам останется только настроить единый вход балансировки нагрузки. Просмотр следующей страницы доказывает, что с текущей установкой проблем нет. Обратите внимание, что доменное имя можно использовать только для доступа, и страницу нельзя нормально просмотреть через доступ по IP.

Настройка портала балансировки нагрузки

После проверки вручную того, что все узлы имеют доступ к ранчеру, вам необходимо настроить балансировку нагрузки nginx. Вы можете напрямую настроить четырехуровневую переадресацию. Таким образом, вам не нужно настраивать сертификат.

sudo vi /etc/nginx/nignx.conf

  1. stream {
  2. upstream rancher_servers_http {
  3. least_conn;
  4. server 192.168.43.26:80 max_fails=3 fail_timeout=5s;
  5. server 192.168.43.27:80 max_fails=3 fail_timeout=5s;
  6. server 192.168.43.28:80 max_fails=3 fail_timeout=5s;
  7. }
  8. server {
  9. listen 80;
  10. proxy_pass rancher_servers_http;
  11. }
  12.  
  13. upstream rancher_servers_https {
  14. least_conn;
  15. server 192.168.43.26:443 max_fails=3 fail_timeout=5s;
  16. server 192.168.43.27:443 max_fails=3 fail_timeout=5s;
  17. server 192.168.43.28:443 max_fails=3 fail_timeout=5s;
  18. }
  19. server {
  20. listen 443;
  21. proxy_pass rancher_servers_https;
  22. }
  23. }

Настройте файл хостов клиента, тест пройдет, и к ранчеру можно будет получить обычный доступ при доступе к порталу nginx LB.

Личный профиль

Он посвятил себя исследованию технологий более 30 лет и владеет различными языками, такими как Java, Linux, Javascript, php, css и т. д. Он внес большой вклад в область открытого исходного кода. Станция документации для разработчиков, где можно поделиться некоторыми проблемами в разработке технологий для дальнейшего использования.

моя контактная информация

Почта