Migration Cluster từ vContainer tới VKS

Để migrate một Cluster từ hệ thống vContainer tới hệ thống VKS, hãy thực hiện theo các bước theo tài liệu này.

Điều kiện cần

• Thực hiện tải xuống helper bash script và grand execute permission cho file này (velero_helper.sh)

Quy trình thực hiện

Quy trình thực hiện migrate từ vContainer sang vKS (Khách hàng + VNG Cloud)

Step 1: Đánh giá version hiện tại của vContainer cluster và tương ứng với vKS cluster sẽ migrate. Lúc này sẽ xảy ra 2 trường hợp (step 2 và step 3)

Step 2: Nếu version vContainer thấp hơn so với các version đang được hỗ trợ bởi vKS, thì các Custom Resouces (CRD) cần được xem xét mức độ tương tích với các version kubernetes mới.

• Nếu tương thích với version vKS mới, tiếp tục thực hiện step 3

• Nếu không tương thích, cần manual update và cấu hình lại CRD cũng như các Applications liên quan

Step 3: Nếu version vContainer được hỗ trợ bởi vKS (1.27, 1.28 và 1.29), thì cần kiểm tra các resouces trên vContainer trước khi backup. Cần lưu ý với các loại resources sau:

• PV/PVC: Velero không hỗ trợ backup với type hostPath, chỉ hỗ trợ type Local.

• Ingress resources: Ingress resources được quản lý bởi container-ingress-nginx-controller sau khi migrate sang sẽ không hoạt động được.

• Label và Taint node: Velero không thực hiện gắn lại các Label và Taint cho các nodes ở vKS

Step 4: Thực hiện backup các resouces trên vContainer cluster

Step 5: Thực hiện restore các resources trên vKS cluster

Step 6: Thực hiện kiểm tra và những điều chỉnh

---

Lưu ý quan trọng:

1. Mapping StorageClass trên vKS cluster

Kiểm tra các StorageClass hiện có trên vContainer và tạo các StorageClass tương ứng trên vKS. Sau đó thực hiện mapping 1:1 StorageClass giữa vContainer và vKS cluster.

Ví dụ file ConfigMap ở Bước 3.

2. Sử dụng PersistentVolume dạng hostPath

Velero không hỗ trợ backup volume dạng hostPath, chỉ hỗ trợ dạng local.

Đối với các cluster đang sử dụng PV type hostPath, cần thực hiện chuyển sang dạng local như sau:

Lưu ý: Cần thực hiện xóa và deploy lại Application đang sử dụng PV type hostPath

Case 1: Type Local hỗ trợ đường dẫn hostPath

Ví dụ PV hostPath đang cấu hình mount tại folder /opt/data, thực hiện convert sang type Local và mount vào lại Pods, theo mẫu sau:

apiVersion: storage.k8s.io/v1 

kind: StorageClass 

metadata: 

  name: manual 

provisioner: kubernetes.io/no-provisioner 

volumeBindingMode: WaitForFirstConsumer 

--- 

apiVersion: v1 

kind: PersistentVolume 

metadata: 

  name: pv-volume 

  labels: 

    type: local 

spec: 

  storageClassName: manual 

  capacity: 

    storage: 1Gi 

  accessModes: 

    - ReadWriteOnce 

  local: 

    path: "/opt/data" 

  nodeAffinity: 

    required: 

      nodeSelectorTerms: 

      - matchExpressions: 

        - key: kubernetes.io/hostname 

          operator: Exists 

--- 

apiVersion: v1 

kind: PersistentVolumeClaim 

metadata: 

  name: pv-claim 

spec: 

  storageClassName: manual 

  accessModes: 

    - ReadWriteOnce 

  resources: 

    requests: 

      storage: 1Gi 

Case 2: Type Local không hỗ trợ đường dẫn hostPath gốc

Khi thực hiện tạo các PV/PVC theo Case 1, Pod không mount được PVC và xuất hiện lỗi

MountVolume.NewMounter initialization failed for volume "pvc" : path "/mnt/data" does not exist

Thực hiện copy data sang một folder mới (ví dụ /var, /opt, /tmp, ...) và thực hiện lại theo Case 1, sau đó mount PVC vào Pod như thường:

cp -R /mnt/data /var 

---

Các bước thực hiện chi tiết

Bước 1: Cài đặt Velero trên cả 2 cluster (vContainer và vKS)

Tạo một project vStorage, Container và S3 key tương ứng để làm nơi lưu trữ dữ liệu backup

Trên cả 2 cluster:

• Tạo file credentials-velero với nội dung sau:

[default] 
aws_access_key_id=________________________ # <= Adjust here 
aws_secret_access_key=________________________ # <= Adjust here 

• Cài đặt Velero CLI

curl -OL  https://github.com/vmware-tanzu/velero/releases/download/v1.14.1/velero-v1.14.1-linux-amd64.tar.gz 

tar -xvf velero-v1.14.1-linux-amd64.tar.gz 
cp velero-v1.14.1 -linux-amd64/velero /usr/local/bin 

• Cài đặt Velero trên 2 cluster kubernetes

velero install \ 
    --provider aws \ 
    --plugins velero/velero-plugin-for-aws:v1.9.0 \ 
    --use-node-agent \ 
    --use-volume-snapshots=false \ 
    --secret-file ./credentials-velero \ 
    --bucket __________\                    # <= Adjust here 
    --backup-location-config region=hcm03,s3ForcePathStyle="true",s3Url=https://hcm03.vstorage.vngcloud.vn 

Bước 2: Thực hiện backup trên Cluster vContainer

Đối với

• Annotate các Persistent Volume cần backup

./velero_helper.sh mark_volume --confirm 

• Annotate các resource không backup của kube-system

./velero_helper.sh mark_exclude --confirm 

• Annotate các resource khác (không được mark trong file velero_helper.sh), như CSI, Ingress Controller, hoặc những resources khác không muốn migrate (lưu ý cần mark label hết toàn bộ resources của objects không cần backup).

  • Ví dụ như một application bao gồm DaemonSet, Deployment, Pod, ... thì cần mark label cho toàn bộ resources đó

# Thêm label velero.io/exclude-from-backup=true cho từng resources 

 

## Với Cinder CSI 

kubectl -n kube-system label StatefulSet/csi-cinder-controllerplugin velero.io/exclude-from-backup=true 

kubec kubectl -n kube-system label DaemonSet/csi-cinder-nodeplugin velero.io/exclude-from-backup=true  

 

## Với vcontainer-ingress-nginx-controller 

kubectl -n kube-system label Deployment/ vcontainer-ingress-nginx-controller velero.io/exclude-from-backup=true 

kubectl -n kube-system label Deployment/ vcontainer-ingress-nginx-default-backend velero.io/exclude-from-backup=true 

• Thực hiện kiểm tra và gắn các Labels and Taint trên nodes vContainer vào các nodes vKS trước khi restore

# Kiểm tra các Label nodes 
./velero_helper.sh check_node_label 
# Kiểm tra các Taint nodes 
./velero_helper.sh check_node_taint 

• Tạo 2 bản backup cho Cluster resources và Namespace resource theo cú pháp

# Tạo cluster resource backup 
velero backup create vcontainer-cluster --include-namespaces ""  --include-cluster-resources=true --wait 

 

# Tạo cluster namespace backup 

velero backup create vcontainer-namespace --exclude-namespaces velero --wait 

 

# Xóa các bản backup (nếu cần) 

velero backup delete vcontainer-namespace vcontainer-cluster --confirm 

• Xem các bản backup đã được tạo và details các resources được backup (chú ý STATUS của backup)

# List các bản backup được tạo 
velero get backup 

# Chi tiết của một bản backup 

velero backup describe <bk-name> --details 

# Xem logs quá trình backup 

velero backup logs <bk-name> 

Bước 3: Thực hiện Restore trên Cluster VKS

• Nếu ở cluster vContainer sử dụng CSI là cinder.csi.openstack.org, cần thực hiện mapping StorageClass giữa 2 cluster vContainer và vKS

  • Mapping csi-sc-cinderplugin-nvme-5000 (vContainer) và vngcloud-nvme-5000-delete (vKS), tương tự đối với các StorageClass khác

  • Ở vKS cần tạo các StorageClass tương ứng

Tạo file sc-mapping.yaml và apply trên cluster VKS

apiVersion: v1 

kind: ConfigMap 

metadata: 

  name: change-storage-class-config 

  namespace: velero 

  labels: 

    velero.io/plugin-config: "" 

    velero.io/change-storage-class: RestoreItemAction 

data: 

  csi-sc-cinderplugin-nvme-5000: vngcloud-nvme-5000-delete 

  #_______old_storage_class_______: _______new_storage_class_______ # <= Add here 

• Thực hiện thêm permissions cho Velero được quyền restore data PersistentVolume

Tạo file add-permission.yaml và apply trên cluster VKS

apiVersion: v1 

kind: ConfigMap 

metadata: 

  name: fs-restore-action-config 

  namespace: velero 

  labels: 

    velero.io/plugin-config: "" 

    velero.io/pod-volume-restore: RestoreItemAction 

data: 

  secCtx: | 

    capabilities: 

      drop: [] 

      add: [] 

    allowPrivilegeEscalation: false 

    readOnlyRootFilesystem: true 

    runAsUser: 0 

    runAsGroup: 0 

• Thực hiện restore theo thứ tự

  • Lưu ý, với mỗi lần thực hiện restore, cần kiểm tra quá trình restore đã thành công hay chưa rồi mới tiếp tục thực hiện các command khác

# Kiểm tra restore 

velero get restore 

velero describe restore <restore-name> --details 

velero restore create --item-operation-timeout 1m --from-backup vcontainer-cluster --exclude-resources="MutatingWebhookConfiguration,ValidatingWebhookConfiguration" 

velero restore create --item-operation-timeout 1m --from-backup vcontainer-namespace 

velero restore create --item-operation-timeout 1m --from-backup vcontainer-cluster 

• Trường hợp migrate qua VKS vẫn sử dụng vcontainer-nginx-ingress-controller, thì cần thực hiện đổi type Service thành LoadBalancer

kubectl patch service -n kube-system vcontainer-ingress-nginx-controller -p '{"spec": {"type": "LoadBalancer"}}'