pegasus-s3 - Trực tuyến trên đám mây

CHƯƠNG TRÌNH:

TÊN

pegasus-s3 - Tải lên, tải xuống, xóa các đối tượng trong Amazon S3

SYNOPSIS

pegasus-s3 giúp đỡ
pegasus-s3 ls [tùy chọn] URL
pegasus-s3 mkdir [tùy chọn] URL ...
pegasus-s3 là rm [tùy chọn] URL ...
pegasus-s3 rm [tùy chọn] [URL ...]
pegasus-s3 đặt [tùy chọn] FILE URL
pegasus-s3 được [tùy chọn] URL [FILE]
pegasus-s3 lsup [tùy chọn] URL
pegasus-s3 rờ rẫm [tùy chọn] URL [TẢI LÊN]
pegasus-s3 cp [tùy chọn] SRC ... điểm đến

MÔ TẢ

pegasus-s3 là ứng dụng khách cho dịch vụ lưu trữ đối tượng Amazon S3 và bất kỳ bộ lưu trữ nào khác
các dịch vụ tuân theo API Amazon S3, chẳng hạn như Eucalyptus Walrus.

LỰA CHỌN

Toàn cầu Các lựa chọn
-h, --Cứu giúp
Hiển thị thông báo trợ giúp cho lệnh con và thoát

-d, --gỡ lỗi
Bật gỡ lỗi

-v, --dài dòng
Hiển thị thông báo tiến độ

-C FILE, --conf=FILE
Đường dẫn đến tệp cấu hình

rm Các lựa chọn
-f, --lực lượng
Nếu URL không tồn tại, thì hãy bỏ qua lỗi.

-F FILE, --tập tin=FILE
Tệp chứa danh sách các URL cần xóa

đặt Các lựa chọn
-c X, --chunksize=X
Đặt kích thước đoạn cho tải lên nhiều phần thành X MB. Giá trị 0 vô hiệu hóa nhiều phần
tải lên. Mặc định là 10MB, tối thiểu là 5MB và tối đa là 1024MB. Tham số này
chỉ áp dụng cho các trang web hỗ trợ tải lên nhiều phần (xem Multiart_uploads
tham số cấu hình trong CẤU HÌNH phần). Số lượng tối đa là
10,000, vì vậy nếu bạn đang tải lên một tệp lớn, thì kích thước chunk sẽ tự động
tăng lên để cho phép tải lên. Chọn các giá trị nhỏ hơn để giảm tác động của
những thất bại thoáng qua.

-p N, --song song=N
Sử dụng N chuỗi để tải lên FILE song song. Giá trị mặc định là 4, cho phép
tải lên song song với 4 chủ đề. Tham số này chỉ hợp lệ nếu trang web hỗ trợ
tải lên mulipart và --chunksize tham số không phải là 0. Nếu không thì tải lên song song
bị vô hiệu hóa.

-b, --create-xô
Tạo nhóm đích nếu nó chưa tồn tại

được Các lựa chọn
-c X, --chunksize=X
Đặt kích thước chunk cho các bản tải xuống song song thành X megabyte. Giá trị 0 sẽ tránh
số lần đọc. Tùy chọn này chỉ áp dụng cho các trang web hỗ trợ tải xuống phạm vi (xem
tham số cấu hình ranged_downloads). Kích thước chunk mặc định là 10MB, tối thiểu là
1MB và tối đa là 1024MB. Chọn các giá trị nhỏ hơn để giảm tác động của hiện tượng tạm thời
những thất bại.

-p N, --song song=N
Sử dụng N luồng để tải lên FILE song song. Giá trị mặc định là 4, cho phép
tải song song với 4 luồng. Tham số này chỉ hợp lệ nếu trang web hỗ trợ
tải xuống phạm vi và --chunksize tham số không phải là 0. Nếu không thì tải xuống song song
bị vô hiệu hóa.

rờ rẫm Các lựa chọn
-a, --tất cả các
Hủy tất cả tải lên cho nhóm đã chỉ định

cp Các lựa chọn
-c, --tạo-dest
Tạo nhóm đích nếu nó không tồn tại.

-r, --đệ quy
Nếu SRC là một nhóm, hãy sao chép tất cả các khóa trong nhóm đó sang DEST. Trong trường hợp đó DEST
phải là một cái thùng.

-f, --lực lượng
Nếu DEST tồn tại, sau đó ghi đè nó.

ĐĂNG KÝ

pegasus-s3 có một số lệnh con cho các hoạt động dịch vụ lưu trữ khác nhau.

giúp đỡ
Lệnh con trợ giúp liệt kê tất cả các lệnh con có sẵn.

ls
ls lệnh con liệt kê nội dung của một URL. Nếu URL không chứa nhóm,
thì tất cả các nhóm do người dùng sở hữu sẽ được liệt kê. Nếu URL chứa một nhóm, nhưng
không có khóa, thì tất cả các khóa trong nhóm đều được liệt kê. Nếu URL chứa một nhóm và một
thì tất cả các khóa trong nhóm bắt đầu bằng khóa được chỉ định sẽ được liệt kê.

mkdir
mkdir lệnh con tạo một hoặc nhiều nhóm.

là rm
là rm lệnh con xóa một hoặc nhiều nhóm khỏi dịch vụ lưu trữ. Để
xóa một thùng, thùng phải trống.

rm
rm lệnh con xóa một hoặc nhiều khóa khỏi dịch vụ lưu trữ.

đặt
đặt lệnh con lưu trữ tệp được FILE chỉ định trong dịch vụ lưu trữ dưới
nhóm và khóa được chỉ định bởi URL. Nếu URL chứa một nhóm, nhưng không chứa một khóa, thì
tên tệp được sử dụng làm khóa.

Nếu xảy ra lỗi tạm thời thì quá trình tải lên sẽ được thử lại vài lần trước đó
pegasus-s3 bỏ cuộc và thất bại.

đặt lệnh con có thể thực hiện cả tải lên từng đoạn và tải lên song song nếu dịch vụ hỗ trợ
tải lên nhiều phần (xem Multiart_uploads trong CẤU HÌNH phần). Hiện tại chỉ
Amazon S3 hỗ trợ tải lên nhiều phần.

Lệnh con này sẽ kiểm tra kích thước của tệp để đảm bảo rằng nó có thể được lưu trữ trước
cố gắng lưu trữ nó.

Tải lên từng đoạn rất hữu ích để giảm xác suất tải lên không thành công. Nếu một
tải lên được phân khúc, sau đó pegasus-s3 đưa ra các yêu cầu PUT riêng biệt cho từng đoạn của
tập tin. Chỉ định các phần nhỏ hơn (sử dụng --chunksize) sẽ làm giảm cơ hội của một
tải lên không thành công do lỗi tạm thời. Kích thước Chunksize có thể dao động từ 5 MB đến 1GB (chunk
kích thước nhỏ hơn 5 MB tạo ra các tệp tải lên không hoàn chỉnh trên Amazon S3). Số lượng tối đa
khối lượng cho bất kỳ tệp nào là 10,000, vì vậy nếu một tệp lớn đang được tải lên với
kích thước khối nhỏ, sau đó kích thước khối sẽ được tăng lên để vừa với 10,000 đoạn
giới hạn. Theo mặc định, tệp sẽ được chia thành các phần 10 MB nếu dịch vụ lưu trữ
hỗ trợ tải lên nhiều phần. Có thể vô hiệu hóa tải lên phân đoạn bằng cách chỉ định kích thước khối
của 0. Nếu quá trình tải lên bị chia nhỏ, thì mỗi phần sẽ được thử lại một cách độc lập trong
những thất bại thoáng qua. Nếu bất kỳ đoạn nào bị lỗi vĩnh viễn, thì quá trình tải lên sẽ bị hủy bỏ.

Tải lên song song có thể tăng hiệu suất cho các dịch vụ hỗ trợ tải lên nhiều phần.
Trong một lần tải lên song song, tệp được chia thành N phần và mỗi phần được tải lên
đồng thời bởi một trong M chủ đề theo kiểu ai đến trước được phục vụ trước. Nếu khối lượng
được đặt thành 0, sau đó tải lên song song bị tắt. Nếu M> N, thì số thực tế của
chủ đề được sử dụng sẽ giảm xuống N. Số lượng chủ đề có thể được chỉ định bằng cách sử dụng
- đối số song song. Nếu --parallel là 1, thì chỉ một luồng duy nhất được sử dụng. Các
giá trị mặc định là 4. Không có số lượng chủ đề tối đa, nhưng có khả năng là
liên kết sẽ bị bão hòa bởi 4 đến 8 chủ đề.

Trong một số trường hợp nhất định, khi quá trình tải lên nhiều phần không thành công, nó có thể để lại dữ liệu
trên máy chủ. Khi một lỗi xảy ra, đặt lệnh con sẽ cố gắng hủy bỏ
tải lên. Nếu quá trình tải lên không thể bị hủy bỏ, thì một phần tải lên có thể vẫn còn trên
người phục vụ. Để kiểm tra tải lên một phần, hãy chạy lsup lệnh phụ. Nếu bạn thấy một tải lên
mà không thành công trong đầu ra của lsup, sau đó chạy rờ rẫm lệnh con để loại bỏ nó.

được
được lệnh con truy xuất một đối tượng từ dịch vụ lưu trữ được xác định bằng URL và
lưu trữ nó trong tệp được chỉ định bởi FILE. Nếu FILE không được chỉ định, thì khóa là
được sử dụng làm tên tệp (Lưu ý: nếu khóa có dấu gạch chéo, thì tên tệp sẽ là
thư mục con tương đối, nhưng pegasus-s3 sẽ không tạo thư mục con nếu nó không
hiện hữu).

Nếu xảy ra lỗi tạm thời, thì quá trình tải xuống sẽ được thử lại vài lần trước đó
pegasus-s3 bỏ cuộc và thất bại.

được lệnh con có thể thực hiện cả tải xuống theo khối và tải song song nếu dịch vụ hỗ trợ
tải xuống phạm vi (xem ranged_downloads trong CẤU HÌNH phần). Hiện tại chỉ
Amazon S3 có hỗ trợ tốt cho các bản tải xuống khác nhau. Eucalyptus Walrus hỗ trợ tầm xa
tải xuống, nhưng bản phát hành hiện tại, 1.6, không nhất quán với giao diện Amazon và
có một lỗi khiến các bản tải xuống phạm vi bị treo trong một số trường hợp. Khuyên rằng
Tải xuống phạm vi không được sử dụng với Eucalyptus cho đến khi các vấn đề này được giải quyết.

Tải xuống từng đoạn có thể được sử dụng để giảm xác suất tải xuống không thành công. Khi một
tải xuống được phân khúc, pegasus-s3 đưa ra các yêu cầu GET riêng biệt cho từng phần của
tập tin. Chỉ định các phần nhỏ hơn (sử dụng --chunksize) sẽ làm giảm cơ hội
tải xuống sẽ không xảy ra lỗi tạm thời. Kích thước phân khúc có thể từ 1 MB đến 1 GB.
Theo mặc định, một bản tải xuống sẽ được chia thành các phần 10 MB nếu trang web hỗ trợ phạm vi
tải xuống. Tải xuống từng đoạn có thể bị vô hiệu hóa bằng cách chỉ định --chunksize của 0. Nếu a
tải xuống được phân đoạn, sau đó mỗi đoạn được thử lại một cách độc lập trong thời gian ngắn
những thất bại. Nếu bất kỳ đoạn nào bị lỗi vĩnh viễn, thì quá trình tải xuống sẽ bị hủy bỏ.

Tải xuống song song có thể tăng hiệu suất cho các dịch vụ hỗ trợ phạm vi
tải xuống. Trong quá trình tải xuống song song, tệp được truy xuất được chia thành N phần và
mỗi đoạn được tải xuống đồng thời bởi một trong M chủ đề trong người đến trước,
thời trang phục vụ đầu tiên. Nếu kích thước khối là 0, thì quá trình tải xuống song song sẽ bị tắt. Nếu như
M> N, thì số lượng chủ đề thực tế được sử dụng sẽ giảm xuống N. Số lượng
luồng có thể được chỉ định bằng cách sử dụng đối số --parallel. Nếu --parallel là 1, thì chỉ
một chủ đề duy nhất được sử dụng. Giá trị mặc định là 4. Không có số lượng tối đa
chủ đề, nhưng có khả năng liên kết sẽ bị bão hòa bởi 4 đến 8 chủ đề.

lsup
lsup lệnh con liệt kê các tải lên nhiều phần đang hoạt động. URL được chỉ định phải trỏ đến
một cái xô. Lệnh này chỉ hợp lệ nếu trang web hỗ trợ tải lên nhiều phần. Các
đầu ra của lệnh này là danh sách các khóa và ID tải lên.

Lệnh con này được sử dụng với rờ rẫm để giúp khôi phục các lỗi tải lên nhiều phần.

rờ rẫm
rờ rẫm lệnh con hủy và tải lên đang hoạt động. URL được chỉ định phải trỏ đến
bucket và UPLOAD là ID tải lên dài, phức tạp được hiển thị bởi lsup lệnh phụ.

Lệnh con này được sử dụng với lsup để khôi phục các lỗi tải lên nhiều phần.

cp
cp lệnh con sao chép các khóa trên máy chủ. Không thể sao chép khóa giữa các tài khoản.

URL FORMAT

Tất cả các URL cho các đối tượng được lưu trữ trong S3 phải được chỉ định ở định dạng sau:

s3 [s]: // NGƯỜI DÙNG @ SITE [/ BUCKET [/ KEY]]

Phần giao thức có thể là s3: // or s3s: //. Nếu s3s: // được sử dụng, sau đó pegasus-s3 Bắt buộc
kết nối để sử dụng SSL và ghi đè cài đặt trong tệp cấu hình. Nếu s3: // là
được sử dụng, sau đó kết nối có sử dụng SSL hay không được xác định bởi giá trị của
thiết bị đầu cuối biến trong cấu hình cho trang web.

USER @ SITE một phần là bắt buộc, nhưng XÔ và KEY các bộ phận có thể là tùy chọn tùy thuộc vào
bối cảnh.

USER @ SITE phần được gọi là "danh tính" và SITE phần được giới thiệu
với tư cách là "trang web". Cả danh tính và trang web đều được tra cứu trong tệp cấu hình
(xem CẤU HÌNH) để xác định các tham số sẽ sử dụng khi thiết lập kết nối với
dịch vụ. Phần trang web được sử dụng để tìm máy chủ và cổng, có sử dụng SSL hay không và
những thứ khác. Phần nhận dạng được sử dụng để xác định mã thông báo xác thực nào
sử dụng. Định dạng này được thiết kế để cho phép người dùng dễ dàng sử dụng nhiều dịch vụ với nhiều
mã thông báo xác thực. Lưu ý rằng không phải USER cũng không phải SITE phần của URL có bất kỳ
ý nghĩa bên ngoài của pegasus-s3. Chúng không đề cập đến tên người dùng hoặc tên máy chủ thực, nhưng là
thay vì xử lý được sử dụng để tra cứu các giá trị cấu hình trong tệp cấu hình.

Phần BUCKET của URL là phần nằm giữa dấu gạch chéo thứ 3 và thứ 4. Xô là
một phần của không gian tên chung được chia sẻ với những người dùng khác của dịch vụ lưu trữ. Như
như vậy, chúng phải là duy nhất.

Phần KEY của URL là bất kỳ thứ gì sau dấu gạch chéo thứ 4. Các phím có thể bao gồm dấu gạch chéo, nhưng
Các dịch vụ lưu trữ giống S3 không có khái niệm thư mục như các hệ thống tệp thông thường.
Thay vào đó, các khóa được coi như số nhận dạng không rõ ràng cho các đối tượng riêng lẻ. Ví dụ,
những chiếc chìa khóa a / b và AC có một tiền tố chung, nhưng không thể được coi là giống nhau thư mục.

Một số URL mẫu là:

s3: // ewa @ amazon
s3: //juve@skynet/gideon.isi.edu
s3://juve@magellan/pegasus-images/centos-5.5-x86_64-20101101.part.1
s3s: //ewa@amazon/pegasus-images/data.tar.gz

CẤU HÌNH

Mỗi người dùng nên chỉ định một tệp cấu hình pegasus-s3 sẽ sử dụng để tra cứu
thông số kết nối và mã thông báo xác thực.

Tìm kiếm Đường dẫn
Ứng dụng khách này sẽ xem xét các vị trí sau để xác định vị trí của người dùng
tập tin cấu hình:

1. Đối số -C / - conf

2. Biến môi trường S3CFG

3. $ TRANG CHỦ / .pegasus / s3cfg

4. $ HOME / .s3cfg

Nếu nó không tìm thấy tệp cấu hình ở một trong những vị trí này, nó sẽ không thành công với
lỗi. Vị trí $ HOME / .s3cfg chỉ được hỗ trợ để tương thích ngược.
$ HOME / .pegasus / s3cfg nên được sử dụng thay thế.

Cấu hình Tập tin Định dạng
Tệp cấu hình có định dạng INI và chứa hai loại mục nhập.

Loại mục nhập đầu tiên là mục nhập trang web, chỉ định cấu hình cho bộ lưu trữ
Dịch vụ. Mục nhập này chỉ định điểm cuối dịch vụ pegasus-s3 nên kết nối với
trang web và một số tính năng tùy chọn mà trang web có thể hỗ trợ. Đây là một ví dụ về một
mục nhập trang web cho Amazon S3:

[amazon]
điểm cuối = http://s3.amazonaws.com/

Loại mục nhập khác là mục nhập danh tính, chỉ định xác thực
thông tin cho một người dùng tại một trang web cụ thể. Đây là một ví dụ về mục nhập danh tính:

[pegasus @ amazon]
access_key = 90c4143642cb097c88fe2ec66ce4ad4e
secret_key = a0e3840e5baee6abb08be68e81674dca

Điều quan trọng cần lưu ý là tên người dùng và tên trang web được sử dụng chỉ mang tính logic — chúng không
tương ứng với tên máy chủ hoặc tên người dùng thực tế, nhưng chỉ được sử dụng như một cách thuận tiện để
đề cập đến các dịch vụ và danh tính được khách hàng sử dụng.

Tệp cấu hình phải được lưu với các quyền hạn chế. Chỉ chủ sở hữu của
tệp phải có thể đọc từ nó và ghi vào nó (tức là nó phải có quyền của
0600 hoặc 0400). Nếu tệp có nhiều quyền tự do hơn, thì pegasus-s3 sẽ thất bại với một
thông báo lỗi. Mục đích của việc này là để ngăn chặn các mã thông báo xác thực được lưu trữ trong
tệp cấu hình không bị người dùng khác truy cập.

Cấu hình Biến
thiết bị đầu cuối (Địa điểm)
URL của điểm cuối dịch vụ web. Nếu URL bắt đầu bằng httpsthì SSL sẽ là
đã sử dụng.

max_object_size (Địa điểm)
Kích thước tối đa của một đối tượng tính bằng GB (mặc định: 5GB)

Multiart_uploads (Địa điểm)
Dịch vụ có hỗ trợ tải lên nhiều phần không (Đúng / Sai, mặc định: Sai)

ranged_downloads (Địa điểm)
Dịch vụ có hỗ trợ tải xuống phạm vi không? (Đúng / Sai, mặc định: Sai)

khóa truy cập (xác thực)
Khóa truy cập cho danh tính

chìa khoá bí mật (xác thực)
Chìa khóa bí mật cho danh tính

Ví dụ Cấu hình
Đây là một cấu hình ví dụ chỉ định hai trang web (amazon và magellan) và
ba danh tính (pegasus @ amazon, juve @ magellan và voeckler @ magellan). Đối với amazon
trang web kích thước đối tượng tối đa là 5TB và trang web hỗ trợ cả tải lên nhiều phần và
tải khác nhau, vì vậy cả tải lên và tải xuống có thể được thực hiện song song.

[amazon]
điểm cuối = https://s3.amazonaws.com/
max_object_size = 5120
Multiart_uploads = Đúng
ranged_downloads = Đúng

[pegasus @ amazon]
access_key = 90c4143642cb097c88fe2ec66ce4ad4e
secret_key = a0e3840e5baee6abb08be68e81674dca

[magellan]
# NERSC Magellan là một trang web Bạch đàn. Nó không hỗ trợ tải lên nhiều phần,
# hoặc tải xuống phạm vi (mặc định) và kích thước đối tượng tối đa là 5GB
# (cũng là mặc định)
điểm cuối = https://128.55.69.235:8773/services/Walrus

[Tháng sáu @ magellan]
access_key = quwefahsdpfwlkewqjsdoijldsdf
secret_key = asdfa9wejalsdjfljasldjfasdfa

[voeckler @ magellan]
# Mỗi trang web có thể có nhiều danh tính được liên kết
access_key = asdkfaweasdfbaeiwhkjfbaqwhei
secret_key = asdhfuinakwjelfuhalsdflahsdl

THÍ DỤ

Liệt kê tất cả các nhóm thuộc sở hữu của danh tính người dùng @ amazon:

$ pegasus-s3 ls s3: // user @ amazon

Liệt kê nội dung của thùng thanh cho danh tính người dùng @ amazon:

$ pegasus-s3 ls s3: // user @ amazon / bar

Liệt kê tất cả các đối tượng trong thùng thanh bắt đầu với xin chào:

$ pegasus-s3 ls s3: // user @ amazon / bar / xin chào

Tạo một nhóm có tên mybucket cho danh tính người dùng @ amazon:

$ pegasus-s3 mkdir s3: // user @ amazon / mybucket

Xóa một nhóm có tên mybucket:

$ pegasus-s3 rmdir s3: // user @ amazon / mybucket

Tải lên một tài liệu foo xô thanh:

$ pegasus-s3 putfoo s3: // user @ amazon / bar / foo

Tải xuống một đối tượng foo trong xô thanh:

$ pegasus-s3 tải s3: // user @ amazon / bar / foo foo

Tải lên một tệp song song với 4 luồng và các phần 100MB:

$ pegasus-s3 put --parallel 4 --chunksize 100 foo s3: // user @ amazon / bar / foo

Tải xuống một đối tượng song song với 4 luồng và các khối 100MB:

$ pegasus-s3 get --parallel 4 --chunksize 100 s3: // user @ amazon / bar / foo foo

Liệt kê tất cả các video tải lên từng phần cho nhóm thanh:

$ pegasus-s3 lsup s3: // user @ amazon / bar

Xóa tất cả tải lên từng phần cho nhóm thanh:

$ pegasus-s3 rmup --all s3: // user @ amazon / bar

TRỞ VỀ VALUE

pegasus-s3 trả về trạng thái tồn tại bằng XNUMX nếu hoạt động thành công. Một lối thoát khác không
trạng thái được trả lại trong trường hợp không thành công.

Sử dụng pegasus-s3 trực tuyến bằng các dịch vụ onworks.net