Đồng bộ dữ liệu từ AWS S3

Rclone là công cụ giúp đồng bộ hoá dữ liệu và directory đến nhiều dịch vụ lưu trữ cloud khác nhau, bao gồm AWS S3, Bizfly Simple Storage, google cloud, dropbox, google drive, v..v…

Xem thêm tại : https://rclone.org/

Bài viết này hướng dẫn cách thiết lập việc replicate data/migrate data từ AWS S3 sang Bizfly Simple Storage

1. Cài đặt rclone

$ curl https://rclone.org/install.sh | sudo bash

2. Lấy thông tin

2.1 Trên AWS Portal

Vào portal AWS, click vào account, chọn My Security Credentials.

Chọn Continue to Security Credentials => Access keys (access key ID and secret access key)

Tại đây, có danh sách các access key, nếu chưa có thì chọn Create New Access Key để tạo key mới, hoặc nếu đã có key, thì có thể dùng key cũ.

Cần lấy thông tin: AWSAccessKeyId và AWSSecretKey .

2.2 Trên Bizfly S3

Vào phần Quản lý User -> Bảo mật -> Simple Storage Access Keys

Thông tin cần lấy: Access key và Secret key

Có thể sử dụng các key có sẵn hoặc tạo access key và secret key mới.
Xem thêm Hướng dẫn cách tạo Access Key.

Vào danh sách bucket, lấy thông tin endpoint của bucket sẽ sử dụng làm replicate.

3. Cấu hình rclone

Tạo file cấu hình rclone trên máy

$ vi ~/.config/rclone/rclone.conf

[aws-bucket]
type = s3
provider = AWS
env_auth = false
access_key_id = <AWSAccessKeyId>
secret_access_key = <AWSSecretKey>
region = ap-southeast-1
location_constraint = ap-southeast-1
acl = private

[bizfly-s3]
type = s3
provider = Other
env_auth = false
access_key_id = <Access key>
secret_access_key = <Secret key >
endpoint = <url của endpoint ví dụ https://bizfly-replicate.hn.ss.bfcplatform.vn>
acl = private

Check thông tin cấu hình rclone :
$ rclone config

Kiểm tra Dữ liệu trên AWS S3 và trên Bizfly Simple Storage trước khi sync.
Trên aws s3, bucket đang có các dữ liệu như sau: trong bucket bizflybucket1, có 1 file CDN.pdf, 1 folder webimages , trong thư mục webimages chứa 1 file CDN.pdf như hình .

Trên Bizfly Simple Storage, không có dữ liệu

Query bằng rclone:

4. Sync data từ AWS S3 → Bizfly Simple Storage

Chạy lệnh:
$ rclone -v sync aws-bucket: bizfly-s3:
để sync toàn bộ bucket từ AWS về Bizfly Simple Storage

Kết quả: dữ liệu đã được sync về

Nếu muốn sync từng thư mục riêng, có thể tạo thư mục đích muốn sync, ví dụ trên Bizfly Simple Storage tạo thư mục newimages, và sync dữ liệu từ AWS, ta chạy lệnh sau:
$ rclone -v sync aws-bucket: bizfly-s3:newimages

Dữ liệu trên Bizfly Simple Storage Dashboard