Compartir tecnología

Yiwen aprende a usar Helm para implementar el clúster de alta disponibilidad Rancher

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

diagrama de arquitectura del grupo de ganaderos

Helm implementa un clúster de alta disponibilidad ranchero

Introducción a timón

Helm es una herramienta de administración de paquetes para Kubernetes, que se utiliza para simplificar la implementación y administración de aplicaciones de Kubernetes. Helm se puede comparar con la herramienta yum de CentOS. Helm tiene los siguientes conceptos básicos:

Gráfico: Es un paquete de instalación administrado por Helm, que contiene los recursos del paquete de instalación que deben implementarse. El gráfico se puede comparar con el archivo rpm utilizado por CentOS yum.

Versión: es la instancia de implementación del gráfico. Un gráfico puede tener varias versiones en un clúster de Kubernetes, es decir, el gráfico se puede instalar varias veces.

Repositorio: almacén de gráficos, utilizado para publicar y almacenar gráficos.

descargar:https://github.com/helm/helm/releases

Verificar el estado de las vainas

  1. kubectl get pods --namespace=kube-system
  2. kubectl get pods --all-namespaces

Si desea eliminarlo, primero busque la implementación y luego elimínela.

  1. kangming@ubuntu26:~$ kubectl get deployment --namespace=kube-system
  2. NAMEREADY UP-TO-DATE AVAILABLE AGE
  3. calico-kube-controllers 1/1 11 4h23m
  4. coredns 2/2 22 4h22m
  5. coredns-autoscaler1/1 11 4h22m
  6. metrics-server1/1 11 4h18m
  7. tiller-deploy 0/1 10 4h15m
  8.  
  9. kangming@ubuntu26:~$ kubectl delete deployment tiller-deploy --namespace=kube-system
  10. deployment.apps "tiller-deploy" deleted

Si desea ver un pod en detalle, puede describir

kubectl describe pod rke-coredns-addon-deploy-job-qz8v6--namespace=kube-system

instalación de helm3

Última versión estable: v3.9.2

descargar

https://get.helm.sh/helm-v3.9.2-linux-amd64.tar.gz

Instalar

  1. tar -zxvf helm-v3.9.2-linux-amd64.tar.gz
  2. sudo mv linux-amd64/helm /usr/local/bin/helm 
  3. sudo chmod +x /usr/local/bin/helm

Consulte la documentación oficial:

Timón | Documentos

Timón | Guía de inicio rápido

Agregar un almacén de gráficos

helm repo add bitnami https://charts.bitnami.com/bitnami

Ver la lista de gráficos instalables

  1. kangming@ubuntu26:~/rancher$ helm search repo bitnami
  2. NAMECHART VERSION APP VERSION DESCRIPTION
  3. bitnami/airflow 13.0.22.3.3 Apache Airflow is a tool to express and execute...
  4. bitnami/apache9.1.162.4.54Apache HTTP Server is an open-source HTTP serve...
  5. bitnami/argo-cd 4.0.6 2.4.8 Argo CD is a continuous delivery tool for Kuber...
  6. bitnami/argo-workflows2.3.8 3.3.8 Argo Workflows is meant to orchestrate Kubernet...

Instalar ejemplo de gráfico

  1. ##确定我们可以拿到最新的charts列表
  2. helm repo update
  3.  
  4. #安装一个mysql的chat示例
  5. helm install bitnami/mysql --generate-name
  6. NAME: mysql-1659686641
  7. LAST DEPLOYED: Fri Aug5 16:04:04 2022
  8. NAMESPACE: default
  9. STATUS: deployed
  10. REVISION: 1
  11. TEST SUITE: None
  12. NOTES:
  13. CHART NAME: mysql
  14. CHART VERSION: 9.2.5
  15. APP VERSION: 8.0.30
  16.  
  17. ** Please be patient while the chart is being deployed **
  18.  
  19. Tip:
  20.  
  21. Watch the deployment status using the command: kubectl get pods -w --namespace default
  22.  
  23. Services:
  24.  
  25. echo Primary: mysql-1659686641.default.svc.cluster.local:3306
  26.  
  27. Execute the following to get the administrator credentials:
  28.  
  29. echo Username: root
  30. MYSQL_ROOT_PASSWORD=$(kubectl get secret --namespace default mysql-1659686641 -o jsonpath="{.data.mysql-root-password}" | base64 -d)
  31.  
  32. To connect to your database:
  33.  
  34. 1. Run a pod that you can use as a client:
  35.  
  36. kubectl run mysql-1659686641-client --rm --tty -i --restart='Never' --imagedocker.io/bitnami/mysql:8.0.30-debian-11-r4 --namespace default --env MYSQL_ROOT_PASSWORD=$MYSQL_ROOT_PASSWORD --command -- bash
  37.  
  38. 2. To connect to primary service (read/write):
  39.  
  40. mysql -h mysql-1659686641.default.svc.cluster.local -uroot -p"$MYSQL_ROOT_PASSWORD"

En el ejemplo anterior, se publica el gráfico bitnami/mysql y su nombre es mysql-1659686641. Cuando enumeremos todos los pods, encontraremos que hay más pods de mysql.

Simplemente puede obtener la información básica de este gráfico ejecutando el comando helm show chart bitnami/mysql. O puede ejecutar helm show all bitnami/mysql para obtener toda la información sobre el gráfico.

Cada vez que ejecuta helm install, se crea una nueva versión de lanzamiento. Por lo tanto, un gráfico se puede instalar varias veces en el mismo clúster y cada uno se puede administrar y actualizar de forma independiente.

Para obtener más información sobre cómo utilizar helm, consulte:https://helm.sh/zh/docs/intro/utilizando_helm/

Con Helm puedes ver fácilmente qué gráficos se han publicado

  1. kangming@ubuntu26:~/rancher$ helm list
  2. NAMENAMESPACE REVISIONUPDATED STATUSCHART APP VERSION
  3. mysql-1659686641default 1 2022-08-05 16:04:04.411386078 +0800 CST deployedmysql-9.2.5 8.0.30

Desinstalar una versión

  1. kangming@ubuntu26:~/rancher$ helm uninstall mysql-1659686641
  2. release "mysql-1659686641" uninstalled

Este comando desinstalará mysql-1659686641 de Kubernetes. Eliminará todos los recursos relacionados (servicio, implementación, pod, etc.) relacionados con esta versión e incluso el historial de versiones.

Si proporciona la opción --keep-history al ejecutar la desinstalación de helm, Helm guardará el historial de versiones. Puede ver información sobre esta versión a través del comando

helm status mysql-1659686641

documentación de ayuda del timón

helm get -h

búsqueda de timón

  • centro de búsqueda de timón desdeCentro de artefactos Busque y enumere cartas de timón en . Hay muchos repositorios diferentes almacenados en Artifact Hub.

  • helm search repo busca en los repositorios que agregó (usando helm repo add) a su cliente de helm local. Este comando busca basándose en datos locales y no requiere conexión a Internet.

Utilice el comando helm install para instalar un nuevo paquete de helm. El método de uso más simple solo requiere pasar dos parámetros: el nombre de la versión que nombró y el nombre del gráfico que desea instalar.

helm install happy-panda bitnami/wordpress

Helm3 instala Rancher (método de certificado autofirmado)

1. Agregar la dirección del almacén de Chart

helm repo add rancher-latest 
https://releases.rancher.com/server-charts/latest

2. Generar certificado de definición.

Para referencia:Generar certificado SSL autofirmado

Script de generación de certificados con un solo clic, oficial de ranchero, guardar como key.sh

  1. #!/bin/bash -e
  2.  
  3. help ()
  4. {
  5. echo' ================================================================ '
  6. echo' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'
  7. echo' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'
  8. echo' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'
  9. echo' --ssl-size: ssl加密位数，默认2048；'
  10. echo' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
  11. echo' 使用示例:'
  12. echo' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com  '
  13. echo' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
  14. echo' ================================================================'
  15. }
  16.  
  17. case "$1" in
  18. -h|--help) help; exit;;
  19. esac
  20.  
  21. if [[ $1 == '' ]];then
  22. help;
  23. exit;
  24. fi
  25.  
  26. CMDOPTS="$*"
  27. for OPTS in $CMDOPTS;
  28. do
  29. key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
  30. value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
  31. case "$key" in
  32. --ssl-domain) SSL_DOMAIN=$value ;;
  33. --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
  34. --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
  35. --ssl-size) SSL_SIZE=$value ;;
  36. --ssl-date) SSL_DATE=$value ;;
  37. --ca-date) CA_DATE=$value ;;
  38. --ssl-cn) CN=$value ;;
  39. esac
  40. done
  41.  
  42. # CA相关配置
  43. CA_DATE=${CA_DATE:-3650}
  44. CA_KEY=${CA_KEY:-cakey.pem}
  45. CA_CERT=${CA_CERT:-cacerts.pem}
  46. CA_DOMAIN=cattle-ca
  47.  
  48. # ssl相关配置
  49. SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
  50. SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
  51. SSL_DATE=${SSL_DATE:-3650}
  52. SSL_SIZE=${SSL_SIZE:-2048}
  53.  
  54. ## 国家代码(2个字母的代号),默认CN;
  55. CN=${CN:-CN}
  56.  
  57. SSL_KEY=$SSL_DOMAIN.key
  58. SSL_CSR=$SSL_DOMAIN.csr
  59. SSL_CERT=$SSL_DOMAIN.crt
  60.  
  61. echo -e "033[32m ---------------------------- 033[0m"
  62. echo -e "033[32m | 生成 SSL Cert | 033[0m"
  63. echo -e "033[32m ---------------------------- 033[0m"
  64.  
  65. if [[ -e ./${CA_KEY} ]]; then
  66. echo -e "033[32m ====> 1. 发现已存在CA私钥，备份"${CA_KEY}"为"${CA_KEY}"-bak，然后重新创建 033[0m"
  67. mv ${CA_KEY} "${CA_KEY}"-bak
  68. openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
  69. else
  70. echo -e "033[32m ====> 1. 生成新的CA私钥 ${CA_KEY} 033[0m"
  71. openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
  72. fi
  73.  
  74. if [[ -e ./${CA_CERT} ]]; then
  75. echo -e "033[32m ====> 2. 发现已存在CA证书，先备份"${CA_CERT}"为"${CA_CERT}"-bak，然后重新创建 033[0m"
  76. mv ${CA_CERT} "${CA_CERT}"-bak
  77. openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
  78. else
  79. echo -e "033[32m ====> 2. 生成新的CA证书 ${CA_CERT} 033[0m"
  80. openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
  81. fi
  82.  
  83. echo -e "033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} 033[0m"
  84. cat > ${SSL_CONFIG} <<EOM
  85. [req]
  86. req_extensions = v3_req
  87. distinguished_name = req_distinguished_name
  88. [req_distinguished_name]
  89. [ v3_req ]
  90. basicConstraints = CA:FALSE
  91. keyUsage = nonRepudiation, digitalSignature, keyEncipherment
  92. extendedKeyUsage = clientAuth, serverAuth
  93. EOM
  94.  
  95. if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} || -n ${SSL_DOMAIN} ]]; then
  96. cat >> ${SSL_CONFIG} <<EOM
  97. subjectAltName = @alt_names
  98. [alt_names]
  99. EOM
  100. IFS=","
  101. dns=(${SSL_TRUSTED_DOMAIN})
  102. dns+=(${SSL_DOMAIN})
  103. for i in "${!dns[@]}"; do
  104. echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
  105. done
  106.  
  107. if [[ -n ${SSL_TRUSTED_IP} ]]; then
  108. ip=(${SSL_TRUSTED_IP})
  109. for i in "${!ip[@]}"; do
  110. echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
  111. done
  112. fi
  113. fi
  114.  
  115. echo -e "033[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} 033[0m"
  116. openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}
  117.  
  118. echo -e "033[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} 033[0m"
  119. openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}
  120.  
  121. echo -e "033[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} 033[0m"
  122. openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} 
  123. -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} 
  124. -days ${SSL_DATE} -extensions v3_req 
  125. -extfile ${SSL_CONFIG}
  126.  
  127. echo -e "033[32m ====> 7. 证书制作完成 033[0m"
  128. echo
  129. echo -e "033[32m ====> 8. 以YAML格式输出结果 033[0m"
  130. echo "----------------------------------------------------------"
  131. echo "ca_key: |"
  132. cat $CA_KEY | sed 's/^//'
  133. echo
  134. echo "ca_cert: |"
  135. cat $CA_CERT | sed 's/^//'
  136. echo
  137. echo "ssl_key: |"
  138. cat $SSL_KEY | sed 's/^//'
  139. echo
  140. echo "ssl_csr: |"
  141. cat $SSL_CSR | sed 's/^//'
  142. echo
  143. echo "ssl_cert: |"
  144. cat $SSL_CERT | sed 's/^//'
  145. echo
  146.  
  147. echo -e "033[32m ====> 9. 附加CA证书到Cert文件 033[0m"
  148. cat ${CA_CERT} >> ${SSL_CERT}
  149. echo "ssl_cert: |"
  150. cat $SSL_CERT | sed 's/^//'
  151. echo
  152.  
  153. echo -e "033[32m ====> 10. 重命名服务证书 033[0m"
  154. echo "cp ${SSL_DOMAIN}.key tls.key"
  155. cp ${SSL_DOMAIN}.key tls.key
  156. echo "cp ${SSL_DOMAIN}.crt tls.crt"
  157. cp ${SSL_DOMAIN}.crt tls.crt

implementar

bash ./key.sh --ssl-domain=rancher.k8s-test.com--ssl-size=2048 --ssl-date=3650

El archivo generado es el siguiente

3. Crear un espacio de nombres secreto

kubectl create namespace cattle-system

4. Certificado de servicio y texto cifrado de clave privada.

  1. kubectl -n cattle-system create secret tls tls-rancher-ingress 
  2. --cert=tls.crt 
  3. --key=tls.key

Si necesita reemplazar el certificado, puede usarkubectl -n cattle-system delete secret tls-rancher-ingressborrartls-rancher-ingress texto cifrado y luego use el comando anterior para crear un nuevo texto cifrado. Si está utilizando un certificado firmado por una CA privada, puede reemplazar el nuevo certificado solo si está firmado por la misma CA que el certificado actual.

Texto cifrado del certificado 5.ca

  1. kubectl -n cattle-system create secret generic tls-ca 
  2. --from-file=cacerts.pem=./cacerts.pem

6. Ejecutar la instalación ranchera.

  1. helm install rancher rancher-latest/rancher 
  2. --namespace cattle-system 
  3. --set hostname=rancher.k8s-test.com 
  4. --set bootstrapPassword=admin 
  5. --set ingress.tls.source=secret 
  6. --set privateCA=true

7. Verifique el estado y espere a que la implementación se realice correctamente y todos los nodos estén listos.

  1. kangming@ubuntu26:~$ kubectl -n cattle-system rollout status deploy/rancher
  2. deployment "rancher" successfully rolled out
  3. kangming@ubuntu26:~$ kubectl -n cattle-system get deploy rancher
  4. NAMEREADY UP-TO-DATE AVAILABLE AGE
  5. rancher 3/3 33 40m

Verifique el estado del pod. Cuando el pod del ranchero esté listo, podrá acceder a él a través del navegador: rancher.k8s-test.com. Este nombre de dominio se puede asignar al nodo de equilibrio de carga. Porque la instalación anterior inicia un pod en todos los nodos en funcionamiento de forma predeterminada. Entonces, a continuación, nginx configura los puertos 80 y 443 de tres nodos.

  1. kubectl get pods --all-namespaces
  2. 或者
  3. kubectl get pods -n cattle-system
  4.  
  5. #查看rancher pod状态
  6. kubectl describe podrancher-ff955865-29ljr --namespace=cattle-system
  7. #一次看所有rancher pod
  8. kubectl -n cattle-system describe pods -l app=rancher

El nombre de host anterior se puede resolver en el nodo de equilibrio de carga, que generalmente es un VIP virtualizado a través de keepalived. Por conveniencia, aquí solo se usa un nodo LB, que se resuelve directamente en 24, y luego el equilibrio de carga se realiza a través de nginx de 24.

solución de problemas

Ver los registros del grupo de rancheros

  1. kubectl get pods -n cattle-system
  2.  
  3. kubectl -n cattle-system logs -f rancher-5d9699f4cf-72wgp

Configurar el equilibrio de carga

Simplemente configúrelo en el nodo de equilibrio de carga 24 y copie el certificado generado por el script a 24

sudo vi /etc/nginx/nignx.conf

  1. stream {
  2. upstream rancher_servers_http {
  3. least_conn;
  4. server 192.168.43.26:80 max_fails=3 fail_timeout=5s;
  5. server 192.168.43.27:80 max_fails=3 fail_timeout=5s;
  6. server 192.168.43.28:80 max_fails=3 fail_timeout=5s;
  7. }
  8. server {
  9. listen 80;
  10. proxy_pass rancher_servers_http;
  11. }
  12.  
  13. upstream rancher_servers_https {
  14. least_conn;
  15. server 192.168.43.26:443 max_fails=3 fail_timeout=5s;
  16. server 192.168.43.27:443 max_fails=3 fail_timeout=5s;
  17. server 192.168.43.28:443 max_fails=3 fail_timeout=5s;
  18. }
  19. server {
  20. listen 443;
  21. proxy_pass rancher_servers_https;
  22. }
  23. }

acceso:https://rancher.k8s-test.com

La contraseña de Bootstrap es admin, la cuenta de inicio de sesión es admin, use un código aleatorio para la contraseña: 1BgV0yLx19YkIhOv

Haga clic en continuar para ingresar a la página de administración.

helm3 instala rancher (rancher viene con su propio administrador de certificados)

Consulte los requisitos previos anteriores, instale el clúster k8s a través de rke y prepare el entorno de helm.

1. Agregar almacén de timón

  1. helm repo add rancher-latest 
  2. https://releases.rancher.com/server-charts/latest

2. Crea un espacio de nombres

kubectl create namespace cattle-system

3. Seleccione el método de certificado TLS generado por Rancher para la gestión de certificados.

4. Instale cert-manager. La instalación solo es necesaria si selecciona el método de certificado TLS generado por Rancher.

  1. # If you have installed the CRDs manually instead of with the `--set installCRDs=true` option added to your Helm install command, you should upgrade your CRD resources before upgrading the Helm chart:
  2.  
  3. kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.7.1/cert-manager.crds.yaml
  4.  
  5. # Add the Jetstack Helm repository
  6. helm repo add jetstack https://charts.jetstack.io
  7.  
  8. # Update your local Helm chart repository cache
  9. helm repo update
  10.  
  11. # Install the cert-manager Helm chart
  12. helm install cert-manager jetstack/cert-manager 
  13. --namespace cert-manager 
  14. --create-namespace 
  15. --version v1.7.1

Verifique que cert-manager esté instalado correctamente

kubectl get pods --namespace cert-manager

5. Instale rancher y use un nombre de dominio falso como nombre de host, para que rancher exponga la IP.

  1. helm install rancher rancher-latest/rancher 
  2. --namespace cattle-system 
  3. --set hostname=rancher.my.org 
  4. --set bootstrapPassword=admin

6. Espere a que la implementación sea exitosa

  1. kangming@ubuntu26:~$ kubectl -n cattle-system rollout status deploy/rancher
  2. deployment "rancher" successfully rolled out
  3. kangming@ubuntu26:~$ kubectl -n cattle-system get deploy rancher
  4. NAMEREADY UP-TO-DATE AVAILABLE AGE
  5. rancher 3/3 33 40m

Después del éxito, simplemente asigne el nombre de dominio rancher.my.org a tres nodos para realizar pruebas. Después de ver la página con éxito, se muestra que la instalación está bien. Posteriormente, solo necesitará configurar la entrada unificada de equilibrio de carga. Después de ver la siguiente página, se demuestra que no hay ningún problema con la instalación actual. Tenga en cuenta que el nombre de dominio solo se puede utilizar para el acceso y la página no se puede ver normalmente a través del acceso IP.

Configurar el portal de equilibrio de carga

Después de probar manualmente que todos los nodos pueden acceder a Rancher, debe configurar el equilibrio de carga de nginx. Puede configurar directamente el reenvío de cuatro capas, de modo que no sea necesario configurar un certificado.

sudo vi /etc/nginx/nignx.conf

  1. stream {
  2. upstream rancher_servers_http {
  3. least_conn;
  4. server 192.168.43.26:80 max_fails=3 fail_timeout=5s;
  5. server 192.168.43.27:80 max_fails=3 fail_timeout=5s;
  6. server 192.168.43.28:80 max_fails=3 fail_timeout=5s;
  7. }
  8. server {
  9. listen 80;
  10. proxy_pass rancher_servers_http;
  11. }
  12.  
  13. upstream rancher_servers_https {
  14. least_conn;
  15. server 192.168.43.26:443 max_fails=3 fail_timeout=5s;
  16. server 192.168.43.27:443 max_fails=3 fail_timeout=5s;
  17. server 192.168.43.28:443 max_fails=3 fail_timeout=5s;
  18. }
  19. server {
  20. listen 443;
  21. proxy_pass rancher_servers_https;
  22. }
  23. }

Configure el archivo de hosts del cliente, la prueba pasa y se puede acceder al ranchero normalmente al acceder al portal nginx LB.

Perfil personal

Se ha dedicado a la investigación de tecnología durante más de 30 años y domina varios lenguajes como java, linux, javascript, php, css, etc. Ha realizado muchas contribuciones en el campo del código abierto. Estación de documentación para desarrolladores para compartir algunos problemas en el desarrollo de tecnología para referencia futura.

Mi informacion de contacto

Correo