gfprep - Online in de cloud

PROGRAMMA:

NAAM

gfprep - repliceer Gfarm-bestanden parallel

KORTE INHOUD

gfprep [-nqvdpPU] [-mx] [-X regexp] [-S brondomeinnaam] [-H bron-hostbestand]
[-NS bestemmings-domeinnaam] [-H bestemming-hostbestand] [-J aantal-processen]
[-J aantal-processen] [-M totaal-byte] [-z minimale byte] [-Z maximale byte]
[-w manier van plannen] [-W kilobytes-voor-drempel] [-S KB/s-om te simuleren]
[-F num-voor-leeskop] [-N aantal replica's] pad

PRODUCTBESCHRIJVING

gfprep creëert parallel replica's van Gfarm-bestanden.

Indien de pad parameter een map is, zullen bestanden onder de map worden gerepliceerd
recursief.

pad is een Gfarm-URL of een pad op een mountpoint van gfarm2fs.

Een set bron-/bestemmingshosts kan worden gespecificeerd door een domeinnaam en/of een hostlijst
bestand. Wanneer zowel een domeinnaam als een hostlijstbestand zijn opgegeven, is er sprake van een set hosts
bepaald door beide omstandigheden. Wanneer een set bronhosts is opgegeven, worden alleen bestanden opgeslagen
op de bronhosts worden gerepliceerd.

Niet-actieve bestandssysteemknooppunten worden geselecteerd als bron of bestemming. Het maximale aantal
parallel aan verzenden of ontvangen per host is het aantal CPU's. Zie de handleiding van
gfhost voor informatie over het aantal CPU's.

gfprep kan ook de directory lezen en tegelijkertijd informatie over de vermeldingen krijgen.

GFPREP OPTIES

Dit zijn de opties alleen voor gfprep.

-N aantal replica's
Specificeert het vereiste aantal bestandsreplica's. Als er voldoende zijn
replica's in de bestemmingshosts, wordt er noch gekopieerd, noch verwijderd.

Als deze optie niet is opgegeven, wordt -N 1 aangenomen.

-x
Verwijdert extra bestandsreplica's wanneer een set bestemmingsknooppunten meer bestandsreplica's heeft
dan gespecificeerd door -N optie.

-m
Migreert bestandsreplica's binnen een set bronknooppunten naar doelknooppunten.

Voor deze optie zijn de opties -S of -h of -D of -H vereist.

Deze optie en -N optie sluiten elkaar uit.

GEMEENSCHAPPELIJKE OPTIES

gfprep heeft dezelfde opties met gfpkopie.

-X regexp
Slaat bronbestanden over die overeenkomen met het patroon van regexp. Als er meerdere patronen zijn opgegeven,
er kunnen meerdere -X-opties worden opgegeven.

-S brondomeinnaam
Specificeert een domeinnaam om bestanden te selecteren. Alleen bestanden met het echte bestand op de
domein wordt verzonden.

-h bron-hostbestand
Specificeert een bestand waarvan de hostnamen van bestandssysteemknooppunten worden beschreven die moeten worden gerepliceerd of
bestanden kopiëren. Alleen bestanden met het echte bestand op de hostnamen worden geselecteerd.
De bron-hostbestand bestaat uit een bestandssysteemknooppuntnaam op elke regel.

Als ``-'' is opgegeven, wordt standaardinvoer gebruikt om de hostlijst te lezen.

-L
Bestandssysteemknooppunten geselecteerd door -S of -h worden alleen gebruikt om de bron te verzenden.

-D bestemmings-domeinnaam
Specificeert de domeinnaam voor bestemming.

Als noch dit, noch de -H optie is opgegeven, kunnen replica's naar elk exemplaar worden gekopieerd
beschikbare gastheer.

-H bestemming-hostbestand
Specificeert een bestand dat hostnamen voor de bestemming beschrijft. De bestemming-hostbestand
bestaat uit een bestandssysteemknooppuntnaam op elke regel.

Als ``-'' is opgegeven, wordt standaardinvoer gebruikt om de hostlijst te lezen.

-j aantal-processen
Specificeert het maximale aantal processen om bestandsreplica's te maken (of bestanden te kopiëren)
tegelijk.

De standaardwaarde is de parameter client_parallel_copy in gfarm2.conf. (zie mens
gfarm2.conf)

Het maximale aantal processen per bestandssysteemknooppunt voor bron of bestemming is de
aantal CPU's (zie man gfhost).

-J aantal-processen
Specificeert het aantal processen dat mappen parallel moet lezen.

De standaardwaarde is 8.

-M totaal-byte
Specificeert de bytes om de totale gekopieerde grootte te beperken.

De standaardwaarde is onbeperkt.

-z minimale byte
Specificeert de bytes om de minimale grootte van een bestand te beperken.

De standaardwaarde is onbeperkt.

-Z maximale byte
Specificeert de bytes om de maximale grootte van een bestand te beperken.

De standaardwaarde is onbeperkt.

-w manier van plannen
Specificeert de naam van de planningsmanier. ``noplan'' repliceert/kopiëert terwijl bestanden dat wel zijn
gevonden. ``greedy'' plant vooraf gretig de volgorde van replicatie/kopie in.

Het standaardgedrag is ``noplan''.

``greedy'' planning kan de optie -N of -m niet gebruiken.

-W kibibytes
Specificeert een drempelgrootte/kosten (KiB) voor vaste kosten van verbindingen. Een verbinding betekent
planningsinformatie (toegewezen bestanden) per kindproces.

Deze optie is effectief met -w greedy.

De standaardwaarde is 50*1024 KiB (50MiB).

-U
Schakelt het elke keer controleren van de beschikbare schijfruimte van het geselecteerde knooppunt uit.

-F aantal-van-dirents
Specificeert het aantal vermeldingen waarvoor de directory-readahead moet worden uitgevoerd.

De standaardwaarde is 10000.

-s kilobytes per seconde.
Specificeert een doorvoer (KB/s) om de replicatie/kopie te simuleren, en doet niets (gets
alleen bestandsinformatie).

-n
Doet niets.

-p
Rapporteert de totale prestaties en diverse resultaten.

-P
Rapporteert de afzonderlijke en totale prestaties en verschillende resultaten.

-q
Onderdrukt niet-foutmeldingen.

-v
Geeft uitgebreide uitvoer weer.

-d
Geeft debug-uitvoer weer.

-?
Geeft een lijst met opdrachtopties weer.

Voorbeelden

Om bestanden recursief onder de map te repliceren.

$ gfprep -N 3 gfarm:///dir

$ cd /mnt/gfarm2fs
$ gfprep -N 3 richt

Om een ​​bestand te repliceren of overtollige replica's van het bestand te verminderen.

$ gfprep -N 3 -x gfarm:///dir/bestand

Om replica's van gfsd1.example.com naar andere knooppunten te migreren.

$ gfprep -m -S gfsd1.example.com gfarm:///

OPMERKINGEN

Als de optie -L of -m niet is opgegeven, wordt er niet altijd een bronknooppunt geselecteerd binnen a
set gespecificeerde knooppunten van het bronbestandssysteem.

gfprep commando moet worden uitgevoerd op dezelfde host van gfmd. Als de gfmd en gfprep zijn ver
uit elkaar, de gfprep de werking is traag. Het opgeven van een grote waarde met de opties -j of -J kan mogelijk zijn
effectief in zo’n geval.

Gebruik gfprep online met behulp van onworks.net-services