Sử dụng CNI Cilium VPC Native Routing
Tổng quan
CNI (Container Network Interface) Cilium VPC Native Routing là một cơ chế giúp Kubernetes quản lý mạng mà không cần sử dụng overlay networks. Thay vì dùng các lớp mạng ảo, CNI Cilium VPC Native Routing tận dụng khả năng routing trực tiếp từ VPC (Virtual Private Cloud) của các nhà cung cấp dịch vụ đám mây để tối ưu hóa việc truyền dữ liệu giữa các node và pod trong cụm Kubernetes. Việc sử dụng CNI Cilium VPC Native Routing sẽ đem lại nhiều lợi ích cho bạn, trong đó:
Hiệu suất mạng cao hơn: Sử dụng native VPC routing loại bỏ các bước encapsulation/decapsulation khi truyền tải dữ liệu qua mạng overlay, từ đó giảm thiểu độ trễ và tăng hiệu suất mạng.
Giảm độ phức tạp: Không cần phải thiết lập và quản lý các overlay networks phức tạp như VXLAN. Mỗi pod có thể sử dụng địa chỉ IP gốc của VPC.
Quản lý và mở rộng dễ dàng: Do không sử dụng overlay, việc quản lý mạng dựa trên native VPC giúp dễ dàng hơn trong việc mở rộng cluster mà không cần phải thay đổi cấu trúc mạng.
Khả năng tương thích cao: Tận dụng chính hệ thống định tuyến của VPC giúp cụm Kubernetes tương thích tốt hơn với các dịch vụ mạng khác của nhà cung cấp đám mây.
Bảo mật tốt hơn với eBPF: Cilium sử dụng eBPF để theo dõi và kiểm soát luồng dữ liệu một cách linh hoạt, có thể thực hiện các chính sách bảo mật chi tiết mà không cần phụ thuộc vào địa chỉ IP.
Model
Trên VKS, CNI (Container Network Interface) Cilium VPC Native Routing hoạt động theo mô hình sau:
Các thành phần chính:
Cluster, Node: là cluster và nodes chạy Cilium VPC Native Routing sử dụng eBPF để quản lý lưu lượng mạng giữa các pod.
Pod CIDR: dải địa chỉ IP dùng cho các pod trong một node. Trong hình:
Node 1 có CIDR là
192.168.240.0/24
.Node 2 có CIDR là
192.168.241.0/24
.
Pod: là các pod chạy trong một network namespace riêng, và có một interface ảo riêng (
eth0
) với địa chỉ IP riêng trong phạm vi pod CIDR của node. Trong hình, cả hai node đều chạy các pod chứa ứng dụng Nginx.Pod Nginx trên Node 1 có địa chỉ IP
192.168.240.1
Pod Nginx trên Node 2 có địa chỉ
192.168.241.1
lcx: là mạng ảo sử dụng để pod được kết nối với node. Trong hình:
Trên Node 1,
lxc01
kết nối vớieth0
của pod Nginx.
cilium_host và eBPF: Mỗi node có một network đặc biệt gọi là cilium_host, và Cilium sử dụng eBPF để quản lý lưu lượng mạng giữa các pod. eBPF cho phép Cilium quản lý mạng ở mức kernel, làm cho việc xử lý gói tin hiệu quả hơn.
Underlying Network: là mạng vật lý mà các node kết nối với nhau, trong hình:
Dải IP chính (Primary IP range) là
192.168.0.0/24
Dải IP phụ (Secondary IP range)
192.168.240.0/20
dùng cho pod.
Mối quan hệ giữa các thành phần:
Mỗi Node có một dải địa chỉ IP riêng cho các pod (Pod CIDR). Các pod trong mỗi node sử dụng địa chỉ từ CIDR này và giao tiếp qua mạng ảo.
Cilium và eBPF thực hiện quản lý mạng cho tất cả các pod trên mỗi node, bao gồm việc xử lý lưu lượng đi từ pod này đến pod khác, hoặc từ node này sang node khác. Khi cần, eBPF thực hiện masquerading để ẩn địa chỉ IP nội bộ của pod khi giao tiếp với mạng ngoài.
Cilium đảm bảo rằng các pod có thể giao tiếp với nhau cả bên trong cùng node và giữa các node khác nhau.
Điều kiện cần
Để có thể khởi tạo một Cluster và Deploy một Workload, bạn cần:
Có ít nhất 1 VPC và 1 Subnet đang ở trạng thái ACTIVE. Nếu bạn chưa có VPC, Subnet nào, vui lòng khởi tạo VPC, Subnet theo hướng dẫn tại đây. Tại Subnet đã tạo, bạn đảm bảo đã nhập đầy đủ Primary CIDR, Secondary CIDR, trong đó:
Primary CIDR: :Đây là dải địa chỉ IP chính của subnet. Mọi địa chỉ IP nội bộ của các máy ảo (VM) trong subnet này sẽ được lấy từ dải địa chỉ này. Giả sử, nếu bạn đặt Primary CIDR là 10.1.0.0/16, các địa chỉ IP của các VM sẽ nằm trong khoảng từ 10.1.0.1 đến 10.1.255.254.
Secondary CIDR: Đây là dải địa chỉ IP phụ, được sử dụng để cung cấp thêm địa chỉ IP cho các mục đích cụ thể như alias IP ranges hoặc để phân chia các dịch vụ khác nhau trong cùng một subnet. Giả sử bạn có thể thêm một Secondary CIDR là 10.2.0.0/20 để sử dụng cho các dịch vụ hoặc ứng dụng khác nhau mà không cần tạo thêm subnet mới.
Chú ý:
Các dải địa chỉ IP của Primary CIDR và Secondary CIDR không được trùng lặp. Điều này có nghĩa là dải địa chỉ của Secondary CIDR phải nằm ngoài phạm vi của Primary CIDR và ngược lại. Giả sử, nếu Primary CIDR là 10.1.0.0/16, thì Secondary CIDR không thể là 10.1.0.0/20 vì nó nằm trong phạm vi của Primary CIDR. Thay vào đó, bạn có thể sử dụng một dải địa chỉ khác như 10.2.0.0/20.
Có ít nhất 1 SSH key đang ở trạng thái ACTIVE. Nếu bạn chưa có SSH key nào, vui lòng khởi tạo SSH key theo hướng dẫn tại đây.
Đã cài đặt và cấu hình kubectl trên thiết bị của bạn. vui lòng tham khảo tại đây nếu bạn chưa rõ cách cài đặt và sử dụng kuberctl. Ngoài ra, bạn không nên sử dụng phiên bản kubectl quá cũ, chúng tôi khuyến cáo bạn nên sử dụng phiên bản kubectl sai lệch không quá một phiên bản với version của cluster.
Khởi tạo một Cluster sử dụng CNI Cilium VPC Native Routing
Để khởi tạo một Cluster, hãy làm theo các bước bên dưới:
Bước 1: Truy cập vào https://vks.console.vngcloud.vn/overview
Bước 2: Tại màn hình Overview, chọn Activate.
Bước 3: Chờ đợi tới khi chúng tôi khởi tạo thành công tài khoản VKS của bạn. Sau khi Activate thành công, bạn hãy chọn Create a Cluster.
Bước 4: Tại màn hình khởi tạo Cluster, chúng tôi đã thiết lập thông tin cho Cluster và một Default Node Group cho bạn. Để sử dụng CNI Cilium VPC Native Routing cho Cluster của bạn, vui lòng chọn:
Network type: Cilium VPC Native Routing và các thông số khác như sau:
Field | Ý nghĩa | Ví dụ minh họa |
---|---|---|
VPC | Dải địa chỉ IP mà các node của Cluster sẽ sử dụng để giao tiếp. | Trong hình, chúng tôi lựa chọn VPC có IP range là 10.111.0.0/16, tương ứng với 65536 IP |
Subnet | Dải địa chỉ IP nhỏ hơn thuộc VPC. Mỗi node trong Cluster sẽ được gán một IP từ Subnet này. Subnet phải nằm trong dải IP của VPC đã chọn. | Trong hình, chúng tôi lựa chọn Subnet có Primary IP range là 10.111.0.0/24, tương ứng với 256 IP |
Default Pod IP range | Đây là dải địa chỉ IP thứ cấp được sử dụng cho các pod. Nó được gọi là Secondary IP range vì nó không trùng với dải IP chính của node (Primary IP range). Các pod trong Cluster sẽ được gán IP từ dải này. | Trong hình, chúng tôi lựa chọn Secondary IP range là 10.111.160.0/20 - Tương ứng với 4096 IP cho các pod |
Node CIDR mask size | Kích thước của CIDR dành cho các node. Thông số này cho biết mỗi node sẽ được gán bao nhiêu địa chỉ IP từ dải pod IP range. Kích thước này cần được chọn sao cho đảm bảo có đủ địa chỉ IP cho tất cả các pod trên mỗi node. Bạn có thể tham khảo bảng bên dưới để hiểu các tính số lượng IP có thể sử dụng để cấp phát cho node, pod trong cluster của bạn. | Trong hình, chúng tooi lựa chọn Node CIDR mask size là /25 - Mỗi node sẽ có 128 địa chỉ IP, phù hợp với số lượng pod bạn mong muốn chạy trên một node. |
Các tính toán số lượng IP cho pod và node:
Giả sử, theo lựa chọn bên trên, kết quả tính toán số lượng pod và node như sau:
Secondary IP range: 10.111.160.0/20 (tổng cộng có 4096 địa chỉ IP cho các pod).
Node CIDR mask size: Các giá trị có thể chọn từ /20 đến /26.
Node CIDR mask size | Số lượng IP cho mỗi node | Số lượng node có thể tạo trong dải /20 (4096 IP) | Số lượng IP phân bổ cho pod trên mỗi node | Số lượng pod thực tế có thể tạo |
---|---|---|---|---|
/20 | 4096 | 1 | 4096 | 2048 |
/21 | 2048 | 2 | 2048 | 1024 |
/22 | 1024 | 4 | 1024 | 512 |
/23 | 512 | 8 | 512 | 256 |
/24 | 256 | 16 | 256 | 128 |
/25 | 128 | 32 | 128 | 64 |
/26 | 64 | 64 | 64 | 32 |
Do đó:
Node CIDR mask size càng lớn (ví dụ /20, /21), bạn sẽ có ít node nhưng mỗi node sẽ có nhiều IP hơn cho các pod.
Node CIDR mask size nhỏ hơn (ví dụ /24, /25), bạn có thể tạo nhiều node hơn nhưng mỗi node sẽ có ít địa chỉ IP hơn cho pod.
Chú ý:
Khi không đủ địa chỉ IP trong Node CIDR range hoặc Secondary IP range để tạo thêm node, cụ thể:
Nếu bạn không thể sử dụng Node mới do hết dải địa chỉ IP trong Secondary IP range. Lúc này, các node mới vẫn sẽ được tạo và được join vào cụm nhưng bạn không thể sử dụng chúng. Các pod được yêu cầu khởi chạy trên node mới này sẽ bị kẹt trong trạng thái "ContainerCreating" do không thể tìm thấy node phù hợp để triển khai. Giải pháp: Bạn cần mở rộng dải Secondary IP range (nếu hạ tầng mạng của bạn cho phép) hoặc điều chỉnh cấu hình của cluster (tăng số node CIDR).
Không đủ địa chỉ IP cho Pod: Nếu một node được khởi tạo nhưng không còn đủ địa chỉ IP để cấp phát cho các pod mới, các pod sẽ không thể khởi chạy trên node đó. VKS sẽ không phân bổ thêm pod cho node đó, và pod sẽ rơi vào trạng thái "ContainerCreating" cho đến khi có tài nguyên hoặc IP khả dụng.Giải pháp: Bạn có thể:
Tăng số lượng node để giảm tải và tăng lượng IP cho các pod.
Tối ưu lại Node CIDR mask size để mỗi node có nhiều IP hơn.
Bước 5: Chọn Create Kubernetes cluster. Hãy chờ vài phút để chúng tôi khởi tạo Cluster của bạn, trạng thái của Cluster lúc này là Creating.
Bước 6: Khi trạng thái Cluster là Active, bạn có thể xem thông tin Cluster, thông tin Node Group bằng cách chọn vào Cluster Name tại cột Name.
Deploy một Workload
Bên dưới là hướng dẫn triển khai một deployment nginx và kiểm tra việc phân chia IP cho các pod được triển khai trong cluster của bạn.
Bước 1: Truy cập vào https://vks.console.vngcloud.vn/k8s-cluster
Bước 3: Đổi tên file này thành config và lưu nó vào thư mục ~/.kube/config
Bước 4: Thực hiện kiểm tra Cluster thông qua lệnh:
Chạy câu lệnh sau đây để kiểm tra node
Nếu kết quả trả về như bên dưới tức là bạn Cluster của bạn được khởi tạo thành công với 3 node:
Tiếp tục thực hiện chạy lệnh sau đây để kiểm tra các pod đã được triển khai trên namespace kube-system của bạn:
Nếu kết quả trả về như bên dưới tức là các pods hỗ trợ chạy Cilium VPC Native đã được chạy thành công:
Bước 2: Triển khai deployment nginx trên cluster vừa khởi tạo:
Thực hiện khởi tạo tệp tin nginx-deployment.yaml với nội dung tương tự bên dưới:
Thực hiện triển khai deployment này qua lệnh:
Bước 3: Kiểm tra các pod nginx đã được triển khai và địa chỉ IP tương ứng
Thực hiện kiểm tra các pod qua lệnh:
Bạn có thể quan sát bên dưới, các pod nginx được chạy trên các IP 10.111.16x.xxx thỏa mãn điều kiện VPC, Subnet, Secondary IP mà bạn đã chọn bên trên.
Bạn cũng có thể thực hiện xem mô tả chi tiết mỗi pod để kiểm tra thông tin pod này qua lệnh:
Bước 4: Bạn có thể thực hiện một vài bước để kiểm tra chuyên sâu việc hoạt động của Cilium. Cụ thể:
Đầu tiên, bạn cần cài đặt Cilium CLI theo hướng dẫn tại đây.
Sau khi cài đặt Cilium CLS, thực hiện kiểm tra trạng thái của Cilium trong cluster của bạn qua lệnh:
Nếu kết quả hiển thị như bên dưới tức là Cilium đang hoạt động đúng:
Bước 5: Kiểm tra kết nối của
Chạy lệnh
Kết quả
Bước 6: Kiểm tra kết nối giữa các Pod
Thực hiện kiểm tra kết nối giữa các pod, đảm bảo rằng các pod có thể giao tiếp qua địa chỉ IP của VPC mà không cần qua overlay networks. Ví dụ bên dưới tôi thực hiện ping từ pod nginx-app-7c79c4bf97-6v88s có địa chỉ IP: 10.111.161.53 tới một server trong cùng VPC có địa chỉ IP: 10.111.0.10:
Nếu kết quả như sau tức là kết nối đã thông:
Một vài lưu ý khi sử dụng CNI Cilium VPC Native Routing:
Last updated