pegasus-s3 - Online în cloud

PROGRAM:

NUME

pegasus-s3 - Încărcați, descărcați, ștergeți obiecte în Amazon S3

REZUMAT

pegasus-s3 ajutor
pegasus-s3 ls [Opțiuni] URL-ul
pegasus-s3 mkdir [Opțiuni] URL ...
pegasus-s3 rmdir [opțiuni] URL...
pegasus-s3 rm [Opțiuni] [URL ...]
pegasus-s3 pune [Opțiuni] FILE URL-ul
pegasus-s3 obține [Opțiuni] URL-ul [FILE]
pegasus-s3 lsup [Opțiuni] URL-ul
pegasus-s3 rmup [Opțiuni] URL-ul [UPLOAD]
pegasus-s3 cp [Opțiuni] SRC... DEST

DESCRIERE

pegasus-s3 este un client pentru serviciul de stocare a obiectelor Amazon S3 și orice alt spațiu de stocare
servicii care sunt conforme cu Amazon S3 API, cum ar fi Eucalyptus Walrus.

OPŢIUNI

Caritate Opţiuni
-h, --Ajutor
Afișează mesajul de ajutor pentru subcomandă și ieșire

-d, --depanare
Activați depanarea

-v, --verbos
Afișează mesaje de progres

-C FILE, --conf=FILE
Calea către fișierul de configurare

rm Opţiuni
-f, --forta
Dacă adresa URL nu există, ignorați eroarea.

-F FILE, --fişier=FILE
Fișier care conține o listă de adrese URL de șters

pune Opţiuni
-c X, --dimensiunea bucatilor=X
Setați dimensiunea fragmentului pentru încărcările în mai multe părți la X MB. O valoare de 0 dezactivează mai multe părți
încărcări. Valoarea implicită este de 10 MB, valoarea minimă este de 5 MB și cea maximă este de 1024 MB. Acest parametru
se aplică numai pentru site-urile care acceptă încărcări în mai multe părți (consultați multipart_uploads
parametrul de configurare în CONFIGURARE secțiune). Numărul maxim de bucăți este
10,000, deci dacă încărcați un fișier mare, atunci dimensiunea fragmentului este automat
crescut pentru a permite încărcarea. Alegeți valori mai mici pentru a reduce impactul
defecțiuni tranzitorii.

-p N, --paralel=N
Folosiți N fire pentru a încărca FILE în paralel. Valoarea implicită este 4, ceea ce activează
încărcări paralele cu 4 fire. Acest parametru este valabil numai dacă site-ul acceptă
mulipart uploads și --dimensiunea bucatilor parametrul nu este 0. În caz contrar, încărcări paralele
sunt dezactivate.

-b, --creează-găleată
Creați găleata de destinație dacă nu există deja

obține Opţiuni
-c X, --dimensiunea bucatilor=X
Setați dimensiunea blocului pentru descărcări paralele la X megaocteți. O valoare de 0 va evita
lecturi în bucăți. Această opțiune se aplică numai pentru site-urile care acceptă descărcări variate (vezi
parametrul de configurare ranged_downloads). Dimensiunea implicită a fragmentului este de 10 MB, iar cea minimă este
1MB și maximul este de 1024MB. Alegeți valori mai mici pentru a reduce impactul tranzitoriului
eșecuri.

-p N, --paralel=N
Utilizați N fire pentru a încărca FIȘIER în paralel. Valoarea implicită este 4, ceea ce activează
descărcări paralele cu 4 fire. Acest parametru este valabil numai dacă site-ul acceptă
descărcări variate și --dimensiunea bucatilor parametrul nu este 0. În caz contrar, descărcări paralele
sunt dezactivate.

rmup Opţiuni
-a, --toate
Anulați toate încărcările pentru grupul specificat

cp Opţiuni
-c, --create-dest
Creați găleata de destinație dacă nu există.

-r, --recursiv
Dacă SRC este o găleată, copiați toate cheile din acea găleată în DEST. În acest caz, DEST
trebuie să fie o găleată.

-f, --forta
Dacă DEST există, atunci suprascrieți-l.

SUBCOMANDĂRI

pegasus-s3 are mai multe subcomenzi pentru diferite operațiuni de serviciu de stocare.

ajutor
Subcomanda de ajutor listează toate subcomenzile disponibile.

ls
ls subcomandă listează conținutul unui URL. Dacă adresa URL nu conține o găleată,
apoi sunt listate toate gălețile deținute de utilizator. Dacă adresa URL conține o găleată, dar
nicio cheie, atunci toate cheile din găleată sunt listate. Dacă adresa URL conține o găleată și a
cheie, apoi sunt listate toate cheile din găleată care încep cu cheia specificată.

mkdir
mkdir subcomanda creează una sau mai multe găleți.

rmdir
rmdir subcomanda șterge una sau mai multe găleți din serviciul de stocare. Pentru a
ștergeți o găleată, găleata trebuie să fie goală.

rm
rm subcomanda șterge una sau mai multe chei din serviciul de stocare.

pune
pune subcomandă stochează fișierul specificat de FILE în serviciul de stocare sub
compartiment și cheie specificate de URL. Dacă adresa URL conține o găleată, dar nu o cheie, atunci
numele fișierului este folosit ca cheie.

Dacă apare o eroare tranzitorie, încărcarea va fi reîncercată de mai multe ori înainte
pegasus-s3 renunță și eșuează.

pune subcomanda poate face atât încărcări în bucăți, cât și în paralel, dacă serviciul acceptă
încărcări în mai multe părți (vezi încărcări_multipart în CONFIGURARE secțiune). Momentan doar
Amazon S3 acceptă încărcări în mai multe părți.

Această subcomandă va verifica dimensiunea fișierului pentru a se asigura că poate fi stocat înainte
încercând să-l păstreze.

Încărcările fragmentate sunt utile pentru a reduce probabilitatea eșecului unei încărcări. Daca un
încărcarea este fragmentată, atunci pegasus-s3 emite cereri PUT separate pentru fiecare bucată a
fişier. Specificarea bucăților mai mici (folosind --dimensiunea bucatilor) va reduce șansele unui
încărcarea eșuată din cauza unei erori tranzitorii. Dimensiunile fragmentelor pot varia de la 5 MB la 1 GB (bucățiune
dimensiuni mai mici de 5 MB au produs încărcări incomplete pe Amazon S3). Numărul maxim
de bucăți pentru orice fișier este de 10,000, deci dacă un fișier mare este încărcat cu un
dimensiune mică, apoi dimensiunea bucată va fi mărită pentru a se încadra în 10,000 de bucăți
limită. În mod implicit, fișierul va fi împărțit în bucăți de 10 MB dacă serviciul de stocare
acceptă încărcări în mai multe părți. Încărcările fragmentate pot fi dezactivate specificând o dimensiune a fragmentelor
de 0. Dacă încărcarea este fragmentată, atunci fiecare bucată este reîncercată independent sub
defecțiuni tranzitorii. Dacă vreo bucată eșuează permanent, atunci încărcarea este anulată.

Încărcările paralele pot crește performanța serviciilor care acceptă încărcări în mai multe părți.
Într-o încărcare paralelă fișierul este împărțit în N bucăți și fiecare bucată este încărcată
concomitent de unul dintre firele M în modul primul venit, primul servit. Dacă dimensiunea bucății
este setat la 0, apoi încărcările paralele sunt dezactivate. Dacă M > N, atunci numărul real de
firele utilizate vor fi reduse la N. Numărul de fire poate fi specificat folosind
--argument paralel. Dacă --parallel este 1, atunci este utilizat doar un singur fir. The
valoarea implicită este 4. Nu există un număr maxim de fire, dar este probabil ca
linkul va fi saturat de 4 până la 8 fire.

În anumite circumstanțe, atunci când o încărcare în mai multe părți eșuează, ar putea lăsa date în urmă
pe server. Când apare o defecțiune, pune subcomanda va încerca să anuleze
încărcați. Dacă încărcarea nu poate fi anulată, atunci o încărcare parțială poate rămâne pe
Server. Pentru a verifica dacă există încărcări parțiale, rulați lsup subcomanda. Dacă vedeți o încărcare
care a eșuat la ieșirea de lsup, apoi rulați rmup subcomandă pentru a o elimina.

obține
obține subcomandă preia un obiect din serviciul de stocare identificat prin URL și
îl stochează în fișierul specificat de FILE. Dacă FILE nu este specificat, atunci cheia este
folosit ca nume de fișier (Notă: dacă tasta are bare oblice, atunci numele fișierului va fi a
subdirector relativ, dar pegasus-s3 nu va crea subdirectorul dacă nu
exista).

Dacă apare o eroare tranzitorie, descărcarea va fi reîncercată de mai multe ori înainte
pegasus-s3 renunță și eșuează.

obține subcomanda poate face atât descărcări în bloc, cât și în paralel, dacă serviciul acceptă
descărcări variate (vezi ranged_downloads în CONFIGURARE secțiune). Momentan doar
Amazon S3 are suport bun pentru descărcări variate. Eucalipt Morsă suportă la distanță
descărcări, dar versiunea actuală, 1.6, este incompatibilă cu interfața Amazon și
are o eroare care provoacă blocarea descărcărilor la intervale în unele cazuri. Este recomandat ca
descărcări variate nu pot fi utilizate cu Eucalyptus până când aceste probleme nu sunt rezolvate.

Descărcările fragmentate pot fi folosite pentru a reduce probabilitatea eșecului unei descărcări. Când un
descărcarea este fragmentată, pegasus-s3 emite solicitări GET separate pentru fiecare bucată a
fişier. Specificarea bucăților mai mici (folosind --dimensiunea bucatilor) va reduce șansele ca a
descărcarea nu va face o eroare tranzitorie. Dimensiunile blocurilor pot varia de la 1 MB la 1 GB.
În mod implicit, o descărcare va fi împărțită în bucăți de 10 MB dacă site-ul acceptă ranged
descărcări. Descărcările fragmentate pot fi dezactivate specificând a --dimensiunea bucatilor de 0. Dacă a
Descărcarea este fragmentată, apoi fiecare bucată este reîncercată independent sub tranzitoriu
eșecuri. Dacă vreo bucată eșuează permanent, atunci descărcarea este anulată.

Descărcările paralele pot crește performanța pentru serviciile care acceptă gama
descărcări. Într-o descărcare paralelă, fișierul de preluat este împărțit în N bucăți și
fiecare bucată este descărcată concomitent de către unul dintre firele M într-un prim venit,
moda pe primul loc. Dacă dimensiunea fragmentului este 0, atunci descărcările paralele sunt dezactivate. Dacă
M > N, atunci numărul real de fire utilizate va fi redus la N. Numărul de
firele pot fi specificate folosind argumentul --parallel. Dacă --parallel este 1, atunci numai
se folosește un singur fir. Valoarea implicită este 4. Nu există un număr maxim de
fire, dar este posibil ca legătura să fie saturată de 4 până la 8 fire.

lsup
lsup subcomandă listează încărcările active din mai multe părți. Adresa URL specificată ar trebui să indice
o găleată. Această comandă este valabilă numai dacă site-ul acceptă încărcări în mai multe părți. The
ieșirea acestei comenzi este o listă de chei și ID-uri de încărcare.

Această subcomandă este folosită cu rmup pentru a ajuta la recuperarea din eșecurile încărcărilor în mai multe părți.

rmup
rmup subcomanda se anulează și încărcarea activă. Adresa URL specificată ar trebui să indice către a
găleată, iar UPLOAD este ID-ul de încărcare lung și complicat afișat de lsup subcomanda.

Această subcomandă este folosită cu lsup pentru a recupera din eșecurile încărcărilor în mai multe părți.

cp
cp subcomandă copiază cheile pe server. Cheile nu pot fi copiate între conturi.

URL-ul FORMAT

Toate adresele URL pentru obiectele stocate în S3 trebuie specificate în următorul format:

s3[s]://USER@SITE[/BUCKET[/KEY]]

Partea de protocol poate fi s3: // or s3s://. Dacă s3s:// este folosit, atunci pegasus-s3 va forța
conexiunea să folosească SSL și să anuleze setarea din fișierul de configurare. Dacă s3:// este
utilizat, atunci dacă conexiunea utilizează sau nu SSL este determinat de valoarea lui
punct final variabilă în configurația pentru site.

UTILIZATOR@SITE parte este necesară, dar GĂLEATĂ și CHEIE piesele pot fi optionale in functie de
contextul.

UTILIZATOR@SITE porțiunea este denumită „identitate”, iar SITE porțiune este referită
ca „site-ul”. Atât identitatea, cât și site-ul sunt căutate în fișierul de configurare
(A se vedea CONFIGURARE) pentru a determina parametrii de utilizat la stabilirea unei conexiuni la
serviciul. Porțiunea de site este utilizată pentru a găsi gazda și portul, dacă să utilizați SSL și
alte lucruri. Porțiunea de identitate este utilizată pentru a determina ce token-uri de autentificare
utilizare. Acest format este conceput pentru a permite utilizatorilor să utilizeze cu ușurință mai multe servicii cu mai multe
jetoane de autentificare. Rețineți că nici USER nici SITE porțiune din URL are oricare
sens în afara pegasus-s3. Nu se referă la nume de utilizator sau nume de gazdă reale, dar sunt
mai degrabă mânerele folosite pentru a căuta valorile de configurare în fișierul de configurare.

Porțiunea BUCKET a adresei URL este partea dintre a treia și a patra bară oblică. Găleți sunt
parte a unui spațiu de nume global care este partajat cu alți utilizatori ai serviciului de stocare. La fel de
astfel, ar trebui să fie unice.

Porțiunea KEY a URL-ului este orice după a patra bară oblică. Tastele pot include bare oblice, dar
Serviciile de stocare asemănătoare S3 nu au conceptul de director precum sistemele de fișiere obișnuite.
În schimb, cheile sunt tratate ca identificatori opaci pentru obiecte individuale. Deci, de exemplu,
cheile a / b și a / c au un prefix comun, dar nu se poate spune că sunt în același director.

Câteva exemple de adrese URL sunt:

s3://ewa@amazon
s3://juve@skynet/gideon.isi.edu
s3://juve@magellan/pegasus-images/centos-5.5-x86_64-20101101.part.1
s3s://ewa@amazon/pegasus-images/data.tar.gz

CONFIGURARE

Fiecare utilizator ar trebui să specifice un fișier de configurare care pegasus-s3 va folosi să caute în sus
parametrii de conectare și jetoanele de autentificare.

Căutare Cale
Acest client va căuta în următoarele locații, în ordine, pentru a le localiza pe cele ale utilizatorului
Fișier de configurare:

1. Argumentul -C/--conf

2. Variabila de mediu S3CFG

3. $HOME/.pegasus/s3cfg

4. $HOME/.s3cfg

Dacă nu găsește fișierul de configurare într-una dintre aceste locații, va eșua cu un
eroare. Locația $HOME/.s3cfg este acceptată numai pentru compatibilitate cu versiunea anterioară.
În schimb, ar trebui folosit $HOME/.pegasus/s3cfg.

Configuraţie Fișier Format
Fișierul de configurare este în format INI și conține două tipuri de intrări.

Primul tip de intrare este o intrare de site, care specifică configurația pentru o stocare
serviciu. Această intrare specifică punctul final al serviciului care pegasus-s3 ar trebui să se conecteze la pentru
site-ul și unele caracteristici opționale pe care site-ul le poate accepta. Iată un exemplu de a
intrare pe site pentru Amazon S3:

[amazon]
punct final = http://s3.amazonaws.com/

Celălalt tip de intrare este o intrare de identitate, care specifică autentificarea
informații pentru un utilizator de pe un anumit site. Iată un exemplu de intrare de identitate:

[pegasus@amazon]
access_key = 90c4143642cb097c88fe2ec66ce4ad4e
secret_key = a0e3840e5baee6abb08be68e81674dca

Este important să rețineți că numele de utilizator și numele site-urilor utilizate sunt doar logice, nu
corespund numelor de gazdă sau numelor de utilizator reale, dar sunt pur și simplu folosite ca o modalitate convenabilă de a face acest lucru
se referă la serviciile și identitățile utilizate de client.

Fișierul de configurare trebuie salvat cu permisiuni limitate. Doar proprietarul
fișierul ar trebui să poată citi și scrie în el (adică ar trebui să aibă permisiuni pentru
0600 sau 0400). Dacă fișierul are permisiuni mai liberale, atunci pegasus-s3 va eșua cu o
mesaj de eroare. Scopul acestui lucru este de a preveni jetoanele de autentificare stocate în
fișierul de configurare să nu fie accesat de alți utilizatori.

Configuraţie Variabile
punct final (site)
Adresa URL a punctului final al serviciului web. Dacă URL-ul începe cu https, atunci va fi SSL
folosit.

dimensiune_max_obiect (site)
Dimensiunea maximă a unui obiect în GB (implicit: 5 GB)

încărcări_multipart (site)
Serviciul acceptă încărcări în mai multe părți (adevărat/fals, implicit: fals)

ranged_downloads (site)
Serviciul acceptă descărcări variate? (Adevărat/Fals, implicit: Fals)

cheie de acces (identitate)
Cheia de acces pentru identitate

cheie secreta (identitate)
Cheia secretă pentru identitate

Exemplu Configuraţie
Acesta este un exemplu de configurație care specifică două site-uri (Amazon și Magellan) și
trei identități (pegasus@amazon,juve@magellan și voeckler@magellan). Pentru Amazon
site-ul, dimensiunea maximă a obiectului este de 5TB, iar site-ul acceptă atât încărcări în mai multe părți, cât și
descărcări variate, astfel încât atât încărcările, cât și descărcările se pot face în paralel.

[amazon]
punct final = https://s3.amazonaws.com/
max_object_size = 5120
multipart_uploads = Adevărat
ranged_downloads = Adevărat

[pegasus@amazon]
access_key = 90c4143642cb097c88fe2ec66ce4ad4e
secret_key = a0e3840e5baee6abb08be68e81674dca

[magellan]
# NERSC Magellan este un sit de eucalipt. Nu acceptă încărcări în mai multe părți,
# sau descărcări variate (valori implicite), iar dimensiunea maximă a obiectului este de 5 GB
# (de asemenea, implicit)
punct final = https://128.55.69.235:8773/services/Walrus

[juve@magellan]
access_key = quwefahsdpfwlkewqjsdoijldsdf
secret_key = asdfa9wejalsdjfljasldjfasdfa

[voeckler@magellan]
# Fiecare site poate avea mai multe identități asociate
access_key = asdkfaweasdfbaeiwhkjfbaqwhei
secret_key = asdhfuinakwjelfuhalsdflahsdl

EXEMPLU

Listați toate compartimentele deținute de identitate utilizator@amazon:

$ pegasus-s3 ls s3://user@amazon

Enumerați conținutul găleții bar pentru identitate utilizator@amazon:

$ pegasus-s3 ls s3://user@amazon/bar

Listați toate obiectele din găleată bar care încep cu Alo:

$ pegasus-s3 ls s3://user@amazon/bar/hello

Creați o găleată numită găleata mea pentru identitate utilizator@amazon:

$ pegasus-s3 mkdir s3://user@amazon/mybucket

Ștergeți o găleată numită găleata mea:

$ pegasus-s3 rmdir s3://user@amazon/mybucket

Incarca un fisier foo la găleată bar:

$ pegasus-s3 putfoo s3://user@amazon/bar/foo

Descărcați un obiect foo în găleată bar:

$ pegasus-s3 get s3://user@amazon/bar/foo foo

Încărcați un fișier în paralel cu 4 fire și bucăți de 100 MB:

$ pegasus-s3 put --parallel 4 --chunksiize 100 foo s3://user@amazon/bar/foo

Descărcați un obiect în paralel cu 4 fire și bucăți de 100 MB:

$ pegasus-s3 get --parallel 4 --chunksiize 100 s3://user@amazon/bar/foo foo

Listați toate încărcările parțiale pentru grup bar:

$ pegasus-s3 lsup s3://user@amazon/bar

Eliminați toate încărcările parțiale pentru grup bar:

$ pegasus-s3 rmup --all s3://user@amazon/bar

A REVENI VALUE

pegasus-s3 returnează o stare de existență zero dacă operația are succes. O ieșire diferită de zero
starea este returnată în caz de eșec.

Utilizați pegasus-s3 online folosind serviciile onworks.net