Đồng bộ dữ liệu từ Google Cloud Storage

MinIO Client là công cụ giúp đồng bộ hoá dữ liệu và thư mực giữa nhiều dịch vụ lưu trữ cloud khác nhau, bao gồm Bizfly Simple Storage, Google cloud storage, AWS S3, v..v…

Xem thêm tại : https://min.io/docs/minio/linux/reference/minio-mc.html

Bài viết này hướng dẫn cách thiết lập việc replicate data/migrate data từ Google Cloud Storage sang Bizfly Simple Storage

1. Cài đặt MinIO Client

curl https://dl.min.io/client/mc/release/linux-amd64/mc \
  --create-dirs \
  -o $HOME/minio-binaries/mc

chmod +x $HOME/minio-binaries/mc
export PATH=$PATH:$HOME/minio-binaries/

2. Lấy thông tin

2.1 Trên Google Cloud Storage

Chọn project chứa bucket cần được migrate, ở phần menu, chọn Settings => chọn tab INTEROPERABILITY.

Tiếp tục kéo xuống dưới, ở mục User account HMAC => chọn Set as default project (Nếu không nút này tức là bạn đã chọn trước đây và không cần làm nữa)

Trong mục User account HMAC có danh sách các access key, nếu chưa có thì chọn CREATE A KEYđể tạo key mới, hoặc nếu đã có key, thì có thể dùng key cũ.

Cần lấy thông tin: Access key và Secret key

2.2 Trên Bizfly Simple Storage

Vào dịch vụ Bizfly Simple Storage => Quản lý Access Key

Thông tin cần lấy: Access key và Secret key

Có thể sử dụng các key có sẵn hoặc tạo access key và secret key mới.
Xem thêm Hướng dẫn cách tạo Access Key.

Quay lại danh sách bucket, lấy thông tin tên bucket dùng để nhận dữ liệu từ GCS, hoặc tạo môt bucket mới.
Xem thêm Hướng dẫn cách tạo bucket mới.

3. Cấu hình MinIO Client

Tạo định danh cho Google Cloud Storage đã lấy từ phần 2.1:

mc alias set --api "S3v4" gcs https://storage.googleapis.com "GCS_ACCESS_KEY" "GCS_SECRET_KEY"

Tạo định danh cho Bizfly Simple Storage đã lấy từ phần 2.2:

mc alias set --api "S3v4" bfc https://hn.ss.bfcplatform.vn "BIZFLYS3_ACCESS_KEY" "BIZFLYS3_SECRET_KEY"

Check thông tin cấu hình MinIO client:
$ mc alias ls

Kiểm tra dữ liệu trên Google Cloud Storage và trên Bizfly Simple Storage trước khi sync.
Có thể sử dụng minio client để kiểm tra:

mc ls gcs/GCS_BUCKET_NAME
mc ls bfc/BIZFLYS3_BUCKET_NAME

4. Sync data từ Google Cloud Storage → Bizfly Simple Storage

Để sync toàn bộ bucket từ Google Cloud Storage về Bizfly Simple Storage, chạy lệnh sau:

mc mirror gcs/GCS_BUCKET_NAME/ bfc/BIZFLYS3_BUCKET_NAME/

Trong trường hợp muốn sync vào từng thư mục riêng, hãy thêm tên thư mục vào sau tên bucket. Ví dụ sync dữ liêu thuộc bucket của GCS về folder1/ thuộc bucket của Bizfly S3:

mc mirror gcs/GCS_BUCKET_NAME/ bfc/BIZFLYS3_BUCKET_NAME/folder1/