[Rclone] Đồng bộ dữ liệu từ AWS S3 sang vStorage

Rclone là công cụ giúp đồng bộ hoá dữ liệu và directory đến nhiều dịch vụ lưu trữ khác nhau, bao gồm AWS S3, Google Cloud, Dropbox, vStorage,...

Bên dưới là hướng dẫn của chúng tôi nhằm giúp bạn thiết lập replicate data/ migrate data từ AWS S3 sang vStorage.

Lưu ý: VNG Cloud khuyến khích sử dụng phiên bản mới nhất của rclone để có trải nghiệm tốt nhất.

Chú ý:

1. Không nên sử dụng phiên bản Rclone quá cũ/ quá mới trên các hệ điều hành có phiên bản quá cũ/ quá mới vì có thể gặp lỗi.

2. Không khuyến khích sử dụng rclone sync vì khi sync sẽ copy source sang destination và xóa phần khác biệt ở destination (khiến destination trở thành bản sao của source), dễ gây ra sự cố xoá nhầm data nếu truyền sai thông tin source, destination. Khuyến cáo nên dùng rclone copy.

3. Có vài vấn đề khi dùng rclone mount để mount các vStorage container (bucket) thành local directory để sử dụng: + Không thể copy, rename, move + Không thể listing nhanh chóng + Không phân quyền như trên các loại filesystem truyền thống: rwx, uid, gid,...

Cài đặt

$ curl https://rclone.org/install.sh | sudo bash

---

Chuẩn bị thông tin

Chuẩn bị thông tin Source

Thực hiện lấy thông tin access_key_id và secret_access_key_id của AWS S3 theo hướng dẫn bên dưới:

1. Truy cập vào portal AWS, chọn Account.

2. Chọn Security Credentials.

3. Tại mục Access Key, bạn sẽ lấy được access_key_id và secret_key tương ứng đang có. Nếu bạn chưa có access_key_id và secret_key nào, hãy chọn Create Access Key và tiếp tục thực hiện các bước tạo mới access_key.

Chuẩn bị thông tin Destination

Thực hiện lấy thông tin access_key và secret_key mà bạn đã khởi tạo để truy cập vào vStorage thông qua vIAM theo hướng dẫn tại Khởi tạo S3 key.

---

Cấu hình Rclone

Tạo file cấu hình Rclone trên máy

$ vi ~/.config/rclone/rclone.conf

Nội dung file cấu hình như sau

~/.config/rclone/rclone.conf [vstorage] type = s3 provider = Other env_auth = false access_key_id = <access_key_vStorage> secret_access_key = <secret_key_vStorage> endpoint = https://hcm01.vstorage.vngcloud.vn/ acl = private v2_auth = true region = other-v2-signature location_constraint = HCM01 [awss3] type = s3 provider = AWS env_auth = false access_key_id = <access_key_id_S3> secret_access_key = <secret_access_key_S3> region = ap-southeast-1 location_constraint = ap-southeast-1 acl = private

Kiểm tra thông tin cấu hình Rclone

$ rclone config

4. Copy data từ AWS S3 → VNG Cloud S3 vStorage.

Chạy lệnh:

rclone copy source:sourcepath dest:destpath

Ví dụ: để copy data từ bucket aws-s3-source tới container01 trên hệ thống vStorage, bạn cần chạy cú pháp sau đây:

rclone copy awss3:aws-s3-source vstorage:container01

Kết quả: Trên Portal vStorage, tại Container01 sẽ xuất hiện các file vừa được copy từ AWS S3.

Chú ý:

1. Đối với trường hợp bạn có dữ liệu quá lớn (từ 20TB) mà không thể tự thực hiện được vui lòng gửi ticket support để được tư vấn hỗ trợ.