Sử dụng CNI Cilium VPC Native Routing
Last updated
Last updated
Địa chỉ
VNG CorporationCNI (Container Network Interface) Cilium VPC Native Routing là một cơ chế giúp Kubernetes quản lý mạng mà không cần sử dụng overlay networks. Thay vì dùng các lớp mạng ảo, CNI Cilium VPC Native Routing tận dụng khả năng routing trực tiếp từ VPC (Virtual Private Cloud) của các nhà cung cấp dịch vụ đám mây để tối ưu hóa việc truyền dữ liệu giữa các node và pod trong cụm Kubernetes.
Trên VKS, CNI (Container Network Interface) Cilium VPC Native Routing hoạt động theo mô hình sau:
Trong đó:
Mỗi Node có một dải địa chỉ IP riêng cho các pod (Pod CIDR). Các pod trong mỗi node sử dụng địa chỉ từ CIDR này và giao tiếp qua mạng ảo.
Cilium và eBPF thực hiện quản lý mạng cho tất cả các pod trên mỗi node, bao gồm việc xử lý lưu lượng đi từ pod này đến pod khác, hoặc từ node này sang node khác. Khi cần, eBPF thực hiện masquerading để ẩn địa chỉ IP nội bộ của pod khi giao tiếp với mạng ngoài.
Cilium đảm bảo rằng các pod có thể giao tiếp với nhau cả bên trong cùng node và giữa các node khác nhau.
Để có thể khởi tạo một Cluster và Deploy một Workload, bạn cần:
Có ít nhất 1 VPC và 1 Subnet đang ở trạng thái ACTIVE. Nếu bạn chưa có VPC, Subnet nào, vui lòng khởi tạo VPC, Subnet theo hướng dẫn bên dưới:
Bước 1: Truy cập vào trang chủ vServer tại link https://hcm-3.console.vngcloud.vn/vserver
Bước 2: Chọn menu VPCs ở menu bên trái màn hình.
Bước 3: Tại đây, nếu bạn chưa có VPC nào, vui lòng chọn Create VPC bằng cách nhập VPC name và định nghĩa dãy CIDR/16 mong muốn.
Bước 4: Sau khi đã có ít nhất 1 VPC, để tạo subnet, bạn cần chọn View Detail để mở rộng bảng điều khiển ở phía dưới, trong đó có mục Subnet.
Bước 5: Tại mục Subnet, chọn Add Subnet. Lúc này, bạn cần nhập:
Subnet name: tên gợi nhớ của subnet
Primary CIDR: Đây là dải địa chỉ IP chính của subnet. Mọi địa chỉ IP nội bộ của các máy ảo (VM) trong subnet này sẽ được lấy từ dải địa chỉ này. Giả sử, nếu bạn đặt Primary CIDR là 10.1.0.0/24, các địa chỉ IP của các VM sẽ nằm trong khoảng từ 10.1.0.1 đến 10.1.0.254.
Secondary CIDR: Đây là dải địa chỉ IP phụ, được sử dụng để cung cấp thêm địa chỉ IP hoặc để phân chia các dịch vụ khác nhau trong cùng một subnet. Mỗi Node có một dải địa chỉ IP riêng cho các pod (Pod CIDR). Các pod trong mỗi node sử dụng địa chỉ từ CIDR này và giao tiếp qua mạng ảo.
Chú ý:
Các dải địa chỉ IP của Primary CIDR và Secondary CIDR không được trùng lặp. Điều này có nghĩa là dải địa chỉ của Secondary CIDR phải nằm ngoài phạm vi của Primary CIDR và ngược lại. Giả sử, nếu Primary CIDR là 10.1.0.0/24, thì Secondary CIDR không thể là 10.1.0.0/20 vì nó nằm trong phạm vi của Primary CIDR. Thay vào đó, bạn có thể sử dụng một dải địa chỉ khác như 10.1.16.0/20.
Có ít nhất 1 SSH key đang ở trạng thái ACTIVE. Nếu bạn chưa có SSH key nào, vui lòng khởi tạo SSH key theo hướng dẫn tại đây.
Đã cài đặt và cấu hình kubectl trên thiết bị của bạn. vui lòng tham khảo tại đây nếu bạn chưa rõ cách cài đặt và sử dụng kuberctl. Ngoài ra, bạn không nên sử dụng phiên bản kubectl quá cũ, chúng tôi khuyến cáo bạn nên sử dụng phiên bản kubectl sai lệch không quá một phiên bản với version của cluster.
Chú ý:
Khi bạn sử dụng loại network Cilium Native Routing cho cluster của bạn, bạn cần thực hiện cấu hình các Security Groups cho phép các kết nối cần thiết. Ví dụ, khi bạn chạy một NGINX pod trên một node, bạn phải cho phép traffic trên port 80 để đảm bảo các requests từ các node khác có thể kết nối tới. Việc cấu hình này chỉ bắt buộc nếu bạn sử dụng Cilium Native Routing, đối với Calico Overlay và Cilium Overlay thì việc cấu hình Security Groups này là không cần thiết.
Để khởi tạo một Cluster, hãy làm theo các bước bên dưới:
Bước 1: Truy cập vào https://vks.console.vngcloud.vn/overview
Bước 2: Tại màn hình Overview, chọn Activate.
Bước 3: Chờ đợi tới khi chúng tôi khởi tạo thành công tài khoản VKS của bạn. Sau khi Activate thành công, bạn hãy chọn Create a Cluster.
Bước 4: Tại màn hình khởi tạo Cluster, chúng tôi đã thiết lập thông tin cho Cluster và một Default Node Group cho bạn. Để sử dụng CNI Cilium VPC Native Routing cho Cluster của bạn, vui lòng chọn:
Network type: Cilium VPC Native Routing và các thông số khác như sau:
| Field | Ý nghĩa | Ví dụ minh họa |
|---|---|---|
VPC | Dải địa chỉ IP mà các node của Cluster sẽ sử dụng để giao tiếp. | Trong hình, chúng tôi lựa chọn VPC có IP range là 10.111.0.0/16, tương ứng với 65536 IP |
Subnet | Dải địa chỉ IP nhỏ hơn thuộc VPC. Mỗi node trong Cluster sẽ được gán một IP từ Subnet này. Subnet phải nằm trong dải IP của VPC đã chọn. | Trong hình, chúng tôi lựa chọn Subnet có Primary IP range là 10.111.0.0/24, tương ứng với 256 IP |
Default Pod IP range | Đây là dải địa chỉ IP thứ cấp được sử dụng cho các pod. Nó được gọi là Secondary IP range vì nó không trùng với dải IP chính của node (Primary IP range). Các pod trong Cluster sẽ được gán IP từ dải này. | Trong hình, chúng tôi lựa chọn Secondary IP range là 10.111.160.0/20 - Tương ứng với 4096 IP cho các pod |
Node CIDR mask size | Kích thước của CIDR dành cho các node. Thông số này cho biết mỗi node sẽ được gán bao nhiêu địa chỉ IP từ dải pod IP range. Kích thước này cần được chọn sao cho đảm bảo có đủ địa chỉ IP cho tất cả các pod trên mỗi node. Bạn có thể tham khảo bảng bên dưới để hiểu các tính số lượng IP có thể sử dụng để cấp phát cho node, pod trong cluster của bạn. | Trong hình, chúng tôi lựa chọn Node CIDR mask size là /25 - Mỗi node sẽ có 128 địa chỉ IP, phù hợp với số lượng pod bạn mong muốn chạy trên một node. |
Giả sử, khi khởi tạo cluster, tôi lựa chọn:
VPC: 10.111.0.0/16
Subnet:
Primary IP Range: 10.111.0.0/24
Secondary IP Range: 10.111.160.0/20
Node CIDR mask size: Các giá trị có thể chọn từ /24 đến /26.
| Node CIDR mask size | Số lượng IP cho mỗi node | Số lượng node có thể tạo trong dải /20 (4096 IP) | Số lượng IP phân bổ cho pod trên mỗi node | Số lượng pod thực tế có thể tạo |
|---|---|---|---|---|
/24 | 256 | 16 | 256 | 128 |
/25 | 128 | 32 | 128 | 64 |
/26 | 64 | 64 | 64 | 32 |
Chú ý:
Chỉ một loại networktype: Trong một cluster, bạn chỉ có thể sử dụng một trong ba loại networktype: Calico Overlay, Cilium Overlay, hoặc Cilium VPC Native Routing
Multiple subnet cho một cluster: VKS hỗ trợ việc sử dụng nhiều subnet cho một cluster. Điều này cho phép bạn cấu hình mỗi node group trong cluster nằm ở các subnet khác nhau trong cùng một VPC, giúp tối ưu hóa việc phân bổ tài nguyên và quản lý mạng.
Cilium VPC Native Routing và Secondary IP Range: Khi sử dụng Cilium VPC Native Routing cho một cluster, bạn có thể sử dụng nhiều Secondary IP Range. Tuy nhiên, mỗi Secondary IP Range chỉ có thể được sử dụng bởi một cluster duy nhất. Điều này giúp tránh xung đột địa chỉ IP và đảm bảo tính nhất quán trong quản lý mạng.
Khi không đủ địa chỉ IP trong Node CIDR range hoặc Secondary IP range để tạo thêm node, cụ thể:
Nếu bạn không thể sử dụng Node mới do hết dải địa chỉ IP trong Secondary IP range. Lúc này, các node mới vẫn sẽ được tạo và được join vào cụm nhưng bạn không thể sử dụng chúng. Các pod được yêu cầu khởi chạy trên node mới này sẽ bị kẹt trong trạng thái "ContainerCreating" do không thể tìm thấy node phù hợp để triển khai. Lúc này, bạn cần tạo node group mới với secondary range IP chưa được sử dụng trên cluster nào.
Bước 5: Chọn Create Kubernetes cluster. Hãy chờ vài phút để chúng tôi khởi tạo Cluster của bạn, trạng thái của Cluster lúc này là Creating.
Bước 6: Khi trạng thái Cluster là Active, bạn có thể xem thông tin Cluster, thông tin Node Group bằng cách chọn vào Cluster Name tại cột Name.
Bên dưới là hướng dẫn triển khai một deployment nginx và kiểm tra việc phân chia IP cho các pod được triển khai trong cluster của bạn.
Bước 1: Truy cập vào https://vks.console.vngcloud.vn/k8s-cluster
Bước 2: Danh sách Cluster được hiển thị, chọn biểu tượng Download và chọn Download Config File để thực hiện tải xuống file kubeconfig. File này sẽ giúp bạn có toàn quyền truy cập vào Cluster của bạn.
Bước 3: Đổi tên file này thành config và lưu nó vào thư mục ~/.kube/config
Bước 4: Thực hiện kiểm tra Cluster thông qua lệnh:
Chạy câu lệnh sau đây để kiểm tra node
Nếu kết quả trả về như bên dưới tức là bạn Cluster của bạn được khởi tạo thành công với 3 node:
Tiếp tục thực hiện chạy lệnh sau đây để kiểm tra các pod đã được triển khai trên namespace kube-system của bạn:
Nếu kết quả trả về như bên dưới tức là trạng thái các pods hỗ trợ chạy Cilium VPC Native đều thành công (Running):
Bước 2: Triển khai nginx trên cluster vừa khởi tạo:
Thực hiện khởi tạo tệp tin nginx-deployment.yaml với nội dung tương tự bên dưới:
Thực hiện triển khai deployment này qua lệnh:
Bước 3: Kiểm tra các pod nginx đã được triển khai và địa chỉ IP được gán cho mỗi pod
Thực hiện kiểm tra các pod qua lệnh:
Bạn có thể quan sát bên dưới, các pod nginx được gán các IP 10.111.16x.x thỏa mãn điều kiện Secondary IP range và Node CIDR mask size mà chúng tôi đã chỉ định bên trên:
Bạn cũng có thể thực hiện xem mô tả chi tiết mỗi pod để kiểm tra thông tin pod này qua lệnh:
Bước 4: Bạn có thể thực hiện một vài bước để kiểm tra chuyên sâu việc hoạt động của Cilium. Cụ thể:
Đầu tiên, bạn cần cài đặt Cilium CLI theo hướng dẫn tại đây.
Sau khi cài đặt Cilium CLI, thực hiện kiểm tra trạng thái của Cilium trong cluster của bạn qua lệnh:
Nếu kết quả hiển thị như bên dưới tức là Cilium đang hoạt động đúng và đầy đủ:
Bước 5: Bạn có thể thực hiện healthy check kiểm tra Cilium trong cluster của bạn
Chạy lệnh sau để thực hiện healthy check:
Kết quả healthy check mong muốn sẽ như sau:
Ngoài ra, bạn cũng có thể thực hiện thêm các bài kiểm tra kết nối End-to-End hoặc kiểm tra Network performance theo hướng dẫn tại End-To-End Connectivity Testing hoặc Network Performance Test.
Bước 6: Kiểm tra kết nối giữa các Pod
Thực hiện kiểm tra kết nối giữa các pod, đảm bảo rằng các pod có thể giao tiếp qua địa chỉ IP của VPC mà không cần qua overlay networks. Ví dụ bên dưới tôi thực hiện ping từ pod nginx-app-7c79c4bf97-6v88s có địa chỉ IP: 10.111.161.53 tới một server trong cùng VPC có địa chỉ IP: 10.111.0.10:
Nếu kết quả như sau tức là kết nối đã thông:
