arcsub - Online in de cloud

PROGRAMMA:

NAAM

arcsub - ARC-inzending

PRODUCTBESCHRIJVING

De boogsub opdracht wordt gebruikt voor het verzenden van taken naar computerbronnen met Grid-functionaliteit.

KORTE INHOUD

boogsub [Opties] [bestandsnaam ​

OPTIES

-c, --TROS=naam
selecteer een of meer rekenelementen: naam kan een alias zijn voor een enkele CE, a
groep CE's of een URL

-g, --inhoudsopgave=naam
selecteer een of meer registers: naam kan een alias zijn voor een enkel register, een groep
van registers of een URL

-R, --ontdekking afwijzen=URL
sla de service met de opgegeven URL over tijdens servicedetectie

-S, --indieningsinterface=Interfacenaam
gebruik alleen deze interface voor indiening (bijv. org.nordugrid.gridftpjob,
org.ogf.glue.emies.activitycreation, org.ogf.bes)

-I, --infointerface=Interfacenaam
het computerelement gespecificeerd door de URL op de opdrachtregel moet worden opgevraagd met behulp van
deze informatie-interface (mogelijke opties: org.nordugrid.ldapng,
org.nordugrid.ldapglue2, org.nordugrid.wsrfglue2, org.ogf.glue.emies.resourceinfo)

-e, --jobbeschrijvingstring=Draad
jobdescription string die de in te dienen taak beschrijft

-f, --jobdecrfile=bestandsnaam
functiebeschrijvingsbestand waarin de in te dienen functie wordt beschreven

-j, --werklijst=bestandsnaam
het bestand met informatie over actieve taken (default ~/.arc/jobs.xml)

-o, --jobids-naar-bestand=bestandsnaam
de ID's van de ingediende opdrachten worden aan dit bestand toegevoegd

-D, --oefening
taken indienen als proefrun (geen verzending naar batchsysteem)

--direct
rechtstreeks indienen - geen ontdekking van bronnen of matchmaking

-x, --dumpbeschrijving
niet indienen - dump de functiebeschrijving in de taal die door het doel wordt geaccepteerd

-P, --lijstplugins
vermeld de beschikbare plug-ins

-t, --time-out=seconden
time-out in seconden (standaard 20)

-z, --configuratiebestand=bestandsnaam
configuratiebestand (standaard ~/.arc/client.conf)

-d, --debuggen=debugniveau
FATAAL, FOUT, WAARSCHUWING, INFO, UITGEBREID of DEBUG

-b, --makelaar=makelaar
geselecteerde makelaar: Willekeurig (standaard), FastestQueue of aangepast. Gebruik -P om mogelijk te vinden
opties.

-v, --versie
print versie informatie

-?, --help
hulp bij afdrukken

ARGUMENTEN

bestandsnaam ...
functiebeschrijvingsbestanden waarin de in te dienen vacatures worden beschreven

UITGEBREID PRODUCTBESCHRIJVING

boogsub is het sleutelcommando bij het indienen van taken bij computerbronnen met Grid-functionaliteit
de ARC-client. Als standaard boogsub kan opdrachten indienen bij A-REX, CREAM en EMI ES
Enable Computing Elements (CE's), en zoals altijd moet je dat ook zijn voor een succesvolle indiening
geauthenticeerd bij de beoogde computerservices. Sinds boogsub is modulair opgebouwd
bibliotheek kunnen modules worden geïnstalleerd die indiening bij andere doelen mogelijk maken, bijvoorbeeld de
klassieke ARC CE Grid-Manager.

Het indienen van een taak kan worden bereikt door een functiebeschrijvingsbestand op te geven dat moet worden ingediend als een
argument. boogsub zal dan standaard brondetectie uitvoeren op het raster en vervolgens op de
Ontdekte bronnen worden gekoppeld aan de functiebeschrijving en gerangschikt volgens de
gekozen makelaar (--makelaar keuze). Als er geen Grid-omgeving is geconfigureerd, alstublieft
Neem contact op met uw systeembeheerder of stel er zelf een in in het clientconfiguratiebestand
(zie sectie bestanden). Een andere optie is om expliciet een registerservice (of
meerdere) aan boogsub met de --inhoudsopgave optie, die een URL, alias of groep accepteert.
Als alternatief kan een specifieke CE (of meerdere) worden getarget door gebruik te maken van de --TROS optie.
Als een dergelijk scenario het meest voorkomt, loont het de moeite om deze CE’s in de client te specificeren
configuratie als standaardservices, waardoor het overbodig wordt om ze als argument op te geven.
Op dezelfde manier kunnen aliassen en groepen, gedefinieerd in het configuratiebestand, worden gebruikt,
en kan worden gebruikt als argument voor de --TROS or --inhoudsopgave opties. In al het bovenstaande
scenario's boogsub verkrijgt broninformatie van de services waarvoor deze vervolgens wordt gebruikt
matchmaking met de functieomschrijving, maar die stap kan worden vermeden door te specificeren
de --direct optie, in welk geval de functiebeschrijving rechtstreeks naar eerste wordt verzonden
opgegeven eindpunt.

De indeling van klassieke GRIDFTP-gebaseerde cluster-URL's:
[ldap://] [:2135/nordugrid-clusternaam= ,Mds-Vo-naam=lokaal,o=raster]
Alleen de hostname een deel moet worden opgegeven, de rest van de URL wordt automatisch weergegeven
gegenereerd.

Het formaat van een A-REX URL is:
[https://] [: ][/ ]
Hier is de poort standaard 443, maar het pad kan niet worden geraden, dus als dat niet het geval is
opgegeven, wordt aangenomen dat de service zich op het hoofdpad bevindt.

Functieomschrijvingen kunnen ook worden opgegeven met behulp van de --taakbeschrijving optie die verwachten dat de
bestandsnaam van de beschrijving als argument, of de --taakbeschrijving optie die verwachten als
argumenteer de functiebeschrijving als een tekenreeks en beide opties kunnen meerdere keren worden opgegeven
en het een sluit het ander niet uit. De standaard ondersteunde talen voor de functiebeschrijving zijn
xRSL, JSDL en JDL.

Als de functiebeschrijving succesvol is verzonden, wordt een taak-ID geretourneerd en afgedrukt. Dit
job-ID identificeert op unieke wijze de taak terwijl deze wordt uitgevoerd. Aan de andere kant wel
In dat geval is het ook mogelijk dat geen enkele CE voldoet aan de beperkingen die in de beschrijving zijn gedefinieerd
er zal geen indiening plaatsvinden. Na succesvolle indiening, de taak-ID en meer
technische taakinformatie wordt opgeslagen in het takenlijstbestand (hieronder beschreven). De opgeslagen
informatie zorgt ervoor dat de opdrachtbeheeropdrachten van de ARC-client opdrachten eenvoudig kunnen beheren,
en dus hoeft de taak-ID niet handmatig te worden opgeslagen. Standaard wordt het takenlijstbestand opgeslagen
in de .arc-directory in de homedirectory van de gebruiker, maar een andere locatie kan ook zijn
gespecificeerd met de --werklijst optie waarbij de locatie van dit bestand als argument wordt gebruikt. Als de
--werklijst optie werd gebruikt tijdens de indiening, moet deze ook worden gespecificeerd in de
opeenvolgende opdrachten bij het beheren van de taak. Als een computerelement meerdere taken heeft
indieningsinterfaces (bijv. gridftp, EMI-ES, BES), dan zal het tussenhandelalgoritme dat doen
kies er een van. Met de --indieningsinterface optie de gevraagde interface kan zijn
gespecificeerd, en in dat geval worden alleen die computerelementen in aanmerking genomen die dat wel hebben
die specifieke interface, en alleen die interface zal worden gebruikt om de taken in te dienen.

Zoals hierboven vermeld kunnen register- of indexservices worden gespecificeerd met de --inhoudsopgave optie.
Als u een of meerdere indexservers opgeeft, wordt de boogsub opdracht om de servers te bevragen
voor geregistreerde CE’s worden de geretourneerde CE’s vervolgens gematcht met de functiebeschrijving en
degenen die overeenkomen, worden gerangschikt door de gekozen makelaar (zie hieronder) en de inzending zal plaatsvinden
geprobeerd totdat het succesvol was of het einde bereikte. Uit de geretourneerde lijst met CE's
Het kan voorkomen dat in dat geval een lastige of ongewenste CE wordt geselecteerd voor indiening
het is mogelijk om dat cluster af te wijzen met behulp van de --ontdekking afwijzen optie en het verstrekken van de
URL (of alleen de hostnaam) van de CE, die die CE als doelwit negeert
voorlegging.

Wanneer er meerdere CE's zijn bedoeld voor indiening, wordt de resourcemakelaar gebruikt om te filteren
uit CE's die niet voldoen aan de functiebeschrijvingsvereisten en rangschik vervolgens de overige
CE's. De standaard gebruikte makelaar zal de CE's willekeurig rangschikken, maar een andere makelaar kan dat ook doen
worden gekozen met behulp van de --makelaar optie, waarbij de naam van de makelaar als argument wordt gebruikt.
Het brokertype kan ook worden gespecificeerd in client.conf. De beschikbare makelaars zijn te zien
gebruik boogsub -P. Standaard zijn de volgende makelaars beschikbaar:

Willekeurig (standaard)
Kiest een willekeurige CE die past bij de functie-eisen.

Snelste wachtrij
Rangschikt overeenkomende CE's volgens de lengte van de wachtrij bij de CE's, rangschikking
degenen met de kortste wachtrij eerst/hoogst.

criterium
Rangschikt overeenkomende CE's volgens een gespecificeerde benchmark, die moet worden gespecificeerd door
de naam van de makelaar toevoegen met ':' en vervolgens de naam van de benchmark. Indien geen optie
wordt gegeven aan de Benchmark-makelaar, dan worden CE's gerangschikt volgens de
'specint2000'-benchmark.

Gegevens rangschikken overeenkomende CE's op basis van de hoeveelheid invoergegevens die door elke CE in de cache is opgeslagen
de CE opvragen. Alleen CE's met de A-REX BES-interface ondersteunen deze bewerking.

Null Kies een willekeurige CE zonder enige filtering van CE's.

Pythonmakelaar
Door de gebruiker gedefinieerde aangepaste makelaars kunnen in Python worden gemaakt. Zie de voorbeeldmakelaar
SampleBroker.py of ACIXBroker.py (zoals Data Broker maar gebruikt de ARC Cache Index)
die bij ARC worden geïnstalleerd voor meer informatie over hoe u uw eigen makelaar kunt schrijven. A
PythonBroker wordt gespecificeerd door --makelaar PythonBroker:Bestandsnaam.Klasse:args, Waar
Bestandsnaam is het bestand dat de klasse Class bevat die de makelaar implementeert
koppel. De map met dit bestand moet zich in PYTHONPATH bevinden. args is
optioneel en maakt het mogelijk om argumenten aan de makelaar op te geven.

Vóór indiening, boogsub voert een intelligente wijziging van de functiebeschrijving uit
(attributen toevoegen of wijzigen, en zelfs de beschrijvingstaal omzetten om aan de behoeften te voldoen
van de CE) om ervoor te zorgen dat deze geldig is. De gewijzigde functiebeschrijving kunt u afdrukken via
specificeren van de --dumpbeschrijving keuze. Het formaat, dat wil zeggen de taal van de functiebeschrijving, van de
De afgedrukte functiebeschrijving kan niet worden gespecificeerd en zal worden verzonden naar en
geaccepteerd door het gekozen doel. Verdere informatie van boogsub kan worden verkregen door
het vergroten van de breedsprakigheid, wat wordt gedaan met de --debuggen optie waar de standaard
Het breedsprakigheidsniveau is WAARSCHUWING. Als u het niveau instelt op DEBUG, worden alle berichten weergegeven
Als u dit op FATAL instelt, worden alleen fatale logberichten weergegeven.

Naar bevestigen uw functiebeschrijving zonder daadwerkelijk een vacature in te dienen, gebruik dan de --oefening
optie: het registreert mogelijke syntaxis- of andere fouten, maar geeft de site de opdracht dit niet te doen
de taak ter uitvoering indienen. Alleen de netbeheerder (ARC0) en A-REX (ARC1) CE's ondersteunen
deze functie.

Voorbeelden

Indiening van een functiebeschrijvingsbestand "helloworld.jsdl" naar het raster
boogsub hallowereld.jsdl

Er kan ook een informatie-indexserver (register) worden opgevraagd zodat CE's kunnen worden ingediend bij:
boogsub -g register.voorbeeld.com hallowereld.jsdl

Indiening van een functiebeschrijvingsbestand "helloworld.jsdl" naar ce.example.com:
boogsub -c ce.voorbeeld.com hallowereld.jsdl

Directe indiening bij een CE gebeurt als:
boogsub --direct -c cd.voorbeeld.com hallowereld.jsdl

De functiebeschrijving kan ook rechtstreeks op de opdrachtregel worden opgegeven, zoals weergegeven in het
bijvoorbeeld met behulp van de XRSL-functiebeschrijvingstaal:
boogsub -c voorbeeld.com/arex -e \
´&(uitvoerbaar="/bin/echo")(argumenten="Hallo Wereld

Bij indiening tegen CE's die zijn opgehaald van informatie-indexservers kan het nuttig zijn om dit te doen
doe aan resource brokering:
boogsub -g register.voorbeeld.com -b Snelste wachtrij hallowereld.jsdl

Als de taak een grote invoergegevensset heeft, kan het handig zijn om deze naar een CE te sturen waar deze aanwezig zijn
bestanden zijn al in de cache opgeslagen. Hiervoor kan de ACIX-broker worden gebruikt:
boogsub -g register.voorbeeld.com -b
PythonBroker:ACIXBroker.ACIXBroker:https://cacheindex.ndgf.org:6443/data/index
hallowereld.jsdl

Het buiten beschouwing laten van een specifieke CE voor indiening via een informatie-indexserver:
boogsub -g register.voorbeeld.com -R badcomputingelement.com/arex hallowereld.jsdl

Het dumpen van de functiebeschrijving gaat als volgt:
boogsub -c voorbeeld.com/arex -x hallowereld.jsdl

Gebruik arcsub online met behulp van onworks.net-services