arcsub – Online in der Cloud

PROGRAMM:

NAME/FUNKTION

arcsub – ARC-Einreichung

BESCHREIBUNG

Das arcsub Der Befehl wird zum Senden von Jobs an Grid-fähige Computerressourcen verwendet.

ZUSAMMENFASSUNG

arcsub [Optionen] [Dateiname ...]

OPTIONAL

-c, - Cluster=Name
Wählen Sie ein oder mehrere Rechenelemente aus: Name kann ein Alias ​​für ein einzelnes CE sein, a
Gruppe von CEs oder eine URL

-g, --Index=Name
Wählen Sie ein oder mehrere Register aus: Name kann ein Alias ​​für eine einzelne Registrierung oder eine Gruppe sein
von Registern oder einer URL

-R, --rejectdiscovery=URL
Überspringen Sie den Dienst mit der angegebenen URL während der Diensterkennung

-S, --submissioninterface=Schnittstellenname
Verwenden Sie diese Schnittstelle nur zum Senden (z. B. org.nordugrid.gridftpjob,
org.ogf.glue.emies.activitycreation, org.ogf.bes)

-I, --infointerface=Schnittstellenname
Das durch die URL in der Befehlszeile angegebene Rechenelement sollte mit abgefragt werden
diese Informationsschnittstelle (mögliche Optionen: org.nordugrid.ldapng,
org.nordugrid.ldapglue2, org.nordugrid.wsrfglue2, org.ogf.glue.emies.resourceinfo)

-e, --jobdescrstring=Schnur
Jobbeschreibungszeichenfolge, die den zu übermittelnden Job beschreibt

-f, --jobdescrfile=Dateinamen
Jobbeschreibungsdatei, die den zu übermittelnden Job beschreibt

-j, --Job-Liste=Dateinamen
die Datei, die Informationen über aktive Jobs speichert (Standard ~/.arc/jobs.xml)

-o, --jobids-to-file=Dateinamen
Die IDs der übermittelten Jobs werden an diese Datei angehängt

-D, --Probelauf
Jobs als Probelauf übermitteln (keine Übermittlung an das Batch-System)

--Direkte
Direkt einreichen – keine Ressourcensuche oder Matchmaking

-x, --dumpdescription
Nicht übermitteln – Stellenbeschreibung in der vom Ziel akzeptierten Sprache ausgeben

-P, --listplugins
Liste die verfügbaren Plugins auf

-t, --Auszeit=Sekunden
Timeout in Sekunden (Standard 20)

-z, --conffile=Dateinamen
Konfigurationsdatei (Standard ~/.arc/client.conf)

-d, --debuggen=Debug-Ebene
FATAL, ERROR, WARNING, INFO, VERBOSE oder DEBUG

-b, --Makler=Makler
Ausgewählter Broker: Random (Standard), FastestQueue oder benutzerdefiniert. Verwenden Sie -P, um mögliche zu finden
Optionen.

-v, --Version
Informationen zur Druckversion

-?, --help
Hilfe drucken

ARGUMENTE

Dateinamen ...
Jobbeschreibungsdateien, die die einzureichenden Jobs beschreiben

VERLÄNGERT BESCHREIBUNG

arcsub ist der Schlüsselbefehl beim Senden von Jobs an Grid-fähige Computerressourcen mit
der ARC-Client. Als Standard arcsub ist in der Lage, Aufträge an A-REX, CREAM und EMI ES zu übermitteln
Enabled Computing Elements (CEs) und wie immer müssen Sie dies für eine erfolgreiche Einreichung tun
bei den Zielcomputerdiensten authentifiziert. Seit arcsub ist modular aufgebaut
In der Bibliothek können Module installiert werden, die die Übermittlung an andere Ziele ermöglichen, z. B. die
klassischer ARC CE Grid-Manager.

Die Jobübermittlung kann durch Angabe einer Jobbeschreibungsdatei erfolgen, die als übermittelt werden soll
Argument. arcsub führt dann standardmäßig eine Ressourcenerkennung im Grid durch und dann die
Die entdeckten Ressourcen werden der Stellenbeschreibung zugeordnet und entsprechend eingestuft
gewählter Broker (--Makler Möglichkeit). Wenn keine Grid-Umgebung konfiguriert wurde, bitte
Wenden Sie sich an Ihren Systemadministrator oder richten Sie selbst eine in der Client-Konfigurationsdatei ein
(siehe Abschnitt Dateien). Eine andere Möglichkeit besteht darin, explizit einen Registrierungsdienst anzugeben (bzw
mehrere) zu arcsub Verwendung der --Index Option, die eine URL, einen Alias ​​oder eine Gruppe akzeptiert.
Alternativ kann ein bestimmtes CE (oder mehrere) mithilfe von anvisiert werden - Cluster .
Wenn ein solches Szenario am häufigsten vorkommt, lohnt es sich, diese CEs im Client anzugeben
Konfiguration als Standarddienste, was es überflüssig macht, sie als Argument anzugeben.
Auf die gleiche Weise können in der Konfigurationsdatei definierte Aliase und Gruppen verwendet werden.
und kann als Argument für die verwendet werden - Cluster or --Index Optionen. In all dem oben genannten
Szenarien arcsub Erhält Ressourceninformationen von den Diensten, die dann verwendet werden
Matchmaking anhand der Stellenbeschreibung, dieser Schritt kann jedoch durch Spezifizierung vermieden werden
--Direkte Option, wobei die Stellenbeschreibung zunächst direkt an übermittelt wird
angegebenen Endpunkt.

Das Format klassischer GRIDFTP-basierter Cluster-URLs:
[ldap://] [:2135/nordugrid-cluster-name= ,Mds-Vo-name=local,o=grid]
Nur der hostname Ein Teil muss angegeben werden, der Rest der URL wird automatisch angegeben
generiert.

Das Format einer A-REX-URL ist:
[https://] [: ][/ ]
Hier ist der Port standardmäßig 443, aber der Pfad kann nicht erraten werden, falls dies nicht der Fall ist
angegeben ist, wird davon ausgegangen, dass sich der Dienst im Root-Pfad befindet.

Stellenbeschreibungen können auch mit dem angegeben werden --jobdescrfile Option, die das erwartet
Dateiname der Beschreibung als Argument, oder der --jobdescrstring Option, die als erwartet
Argument die Stellenbeschreibung als String, und beide Optionen können mehrfach angegeben werden
und das eine schließt das andere nicht aus. Die standardmäßig unterstützten Stellenbeschreibungssprachen sind
xRSL, JSDL und JDL.

Wenn die Stellenbeschreibung erfolgreich übermittelt wurde, wird eine Job-ID zurückgegeben und gedruckt. Das
Die Job-ID identifiziert den Job während seiner Ausführung eindeutig. Auf der anderen Seite ist es so
Es ist auch möglich, dass in diesem Fall kein CEs den in der Beschreibung definierten Einschränkungen entspricht
Es erfolgt keine Einreichung. Nach erfolgreicher Übermittlung werden die Job-ID und weitere Informationen angezeigt
Technische Jobinformationen werden in der Joblistendatei gespeichert (unten beschrieben). Das gespeicherte
Informationen ermöglichen es den Job-Management-Befehlen des ARC-Clients, Jobs einfach zu verwalten,
und somit muss die Job-ID nicht manuell gespeichert werden. Standardmäßig wird die Joblistendatei gespeichert
im .arc-Verzeichnis im Home-Verzeichnis des Benutzers, es kann jedoch auch ein anderer Ort sein
angegeben mit --Job-Liste Option, die den Speicherort dieser Datei als Argument verwendet. Wenn die
--Job-Liste Wenn bei der Übermittlung die Option verwendet wurde, sollte sie auch im angegeben werden
aufeinanderfolgende Befehle beim Verwalten des Jobs. Wenn ein Computerelement mehrere Aufgaben hat
Übermittlungsschnittstellen (z. B. Gridftp, EMI-ES, BES), dann wird der Vermittlungsalgorithmus dies tun
wähle einen von denen. Mit dem --submissioninterface Option die gewünschte Schnittstelle sein kann
angegeben, und in diesem Fall werden nur die Rechenelemente berücksichtigt, die dies getan haben
Diese spezifische Schnittstelle wird verwendet, und nur diese Schnittstelle wird zum Senden der Jobs verwendet.

Wie oben erwähnt können Registrierungs- oder Indexdienste mit angegeben werden --Index .
Die Angabe eines oder mehrerer Indexserver weist die an arcsub Befehl zur Abfrage der Server
Bei registrierten CEs werden die zurückgegebenen CEs dann mit der Stellenbeschreibung abgeglichen und
Diejenigen, die übereinstimmen, werden vom ausgewählten Broker in eine Rangfolge gebracht (siehe unten) und eingereicht
der Reihe nach versucht, bis es erfolgreich war oder das Ende erreicht war. Aus der zurückgegebenen Liste der CEs
In diesem Fall kann es vorkommen, dass ein problematisches oder unerwünschtes CE zur Einreichung ausgewählt wird
Es ist möglich, diesen Cluster mit dem abzulehnen --rejectdiscovery Option und Bereitstellung der
URL (oder nur der Hostname) des CE, wodurch dieses CE als Ziel ignoriert wird
Einreichung.

Wenn mehrere CEs zur Übermittlung vorgesehen sind, wird der Ressourcenbroker zum Filtern verwendet
Finden Sie CEs heraus, die nicht den Anforderungen der Stellenbeschreibung entsprechen, und ordnen Sie dann die verbleibenden CEs ein
CEs. Der standardmäßig verwendete Broker ordnet die CEs nach dem Zufallsprinzip, ein anderer Broker kann dies jedoch tun
ausgewählt werden, indem Sie die verwenden --Makler Option, die den Namen des Brokers als Argument verwendet.
Der Brokertyp kann auch in client.conf angegeben werden. Die verfügbaren Broker können eingesehen werden
Verwendung von arcsub P. Standardmäßig sind die folgenden Broker verfügbar:

Zufällig (Standard)
Wählt einen zufälligen CE aus, der den Stellenanforderungen entspricht.

FastestQueue
Ordnet übereinstimmende CEs entsprechend der Länge der Jobwarteschlange bei den CEs ein, Rangfolge
diejenigen mit der kürzesten Warteschlange zuerst/am höchsten.

Benchmark
Ränge, die CEs gemäß einem angegebenen Benchmark entsprechen, der durch angegeben werden sollte
Anhängen des Brokernamens mit „:“ und dann des Namens der Benchmark. Wenn keine Option
Wird dem Benchmark-Broker ein Wert gegeben, werden die CEs entsprechend eingestuft
„specint2000“-Benchmark.

Datenränge übereinstimmender CEs entsprechend der Menge der von jedem CE zwischengespeicherten Eingabedaten, von
Abfrage des CE. Nur CEs mit der A-REX BES-Schnittstelle unterstützen diesen Vorgang.

Null Wählen Sie ein zufälliges CE ohne Filterung aller CEs.

PythonBroker
Benutzerdefinierte benutzerdefinierte Broker können in Python erstellt werden. Sehen Sie sich den Beispielbroker an
SampleBroker.py oder ACIXBroker.py (wie Data Broker, verwendet aber den ARC Cache Index)
Weitere Informationen zum Schreiben Ihres eigenen Brokers finden Sie in den mit ARC installierten Versionen. A
PythonBroker wird angegeben durch --Makler PythonBroker:Dateiname.Klasse:args, Wobei
Dateiname ist die Datei, die die Klasse Class enthält, die den Broker implementiert
Schnittstelle. Das Verzeichnis, das diese Datei enthält, muss sich im PYTHONPATH befinden. args ist
optional und ermöglicht die Angabe von Argumenten für den Broker.

Vor der Einreichung, arcsub führt eine intelligente Modifikation der Stellenbeschreibung durch
(Hinzufügen oder Ändern von Attributen, sogar Konvertieren der Beschreibungssprache entsprechend den Anforderungen
des CE), um sicherzustellen, dass es gültig ist. Die geänderte Stellenbeschreibung kann ausgedruckt werden
Angabe der --dumpdescription Möglichkeit. Das Format, d. h. die Stellenbeschreibungssprache, der
Die gedruckte Stellenbeschreibung kann nicht angegeben werden und wird an und gesendet
vom gewählten Ziel akzeptiert. Weitere Informationen von arcsub kann bezogen werden bei
Erhöhen der Ausführlichkeit, was mit dem erfolgt --debuggen Option, wobei die Standardeinstellung ist
Ausführlichkeitsgrad ist WARNUNG. Wenn Sie die Ebene auf DEBUG setzen, werden alle Meldungen angezeigt
Wenn Sie den Wert auf FATAL setzen, werden nur schwerwiegende Protokollmeldungen angezeigt.

Zu bestätigen Ihre Stellenbeschreibung, ohne tatsächlich eine Stelle einzureichen, verwenden Sie die --Probelauf
Option: Es werden mögliche Syntax- oder andere Fehler erfasst, die Site wird jedoch angewiesen, dies nicht zu tun
Senden Sie den Job zur Ausführung. Nur die CEs Grid-Manager (ARC0) und A-REX (ARC1) unterstützen
Dieses Feature.

Beispiele:

Übermittlung einer Stellenbeschreibungsdatei „helloworld.jsdl“ an das Grid
arcsub helloworld.jsdl

Ein Informationsindexserver (Registrierung) kann auch nach CEs abgefragt werden, um sie an Folgendes zu übermitteln:
arcsub -g Registry.Beispiel.com helloworld.jsdl

Übermittlung einer Stellenbeschreibungsdatei „helloworld.jsdl“ an ce.example.com:
arcsub -c ce.example.com helloworld.jsdl

Die direkte Einreichung bei einem CE erfolgt wie folgt:
arcsub --Direkte -c cd.example.com helloworld.jsdl

Die Jobbeschreibung kann auch direkt in der Befehlszeile angegeben werden, wie im gezeigt
Beispiel unter Verwendung der Stellenbeschreibungssprache XRSL:
arcsub -c example.com/arex -e \
´&(executable="/bin/echo")(arguments="Hallo Welt

Bei der Übermittlung an CEs, die von Informationsindexservern abgerufen wurden, kann dies hilfreich sein
Machen Sie Ressourcenvermittlung:
arcsub -g Registry.Beispiel.com -b FastestQueue helloworld.jsdl

Wenn der Job einen großen Eingabedatensatz hat, kann es nützlich sein, ihn an ein CE zu senden, wo diese
Dateien sind bereits zwischengespeichert. Hierzu kann der ACIX-Broker genutzt werden:
arcsub -g Registry.Beispiel.com -b
PythonBroker:ACIXBroker.ACIXBroker:https://cacheindex.ndgf.org:6443/data/index
helloworld.jsdl

Ignorieren eines bestimmten CE für die Übermittlung von Übermittlungen an einen Informationsindexserver:
arcsub -g Registry.Beispiel.com -R badcomputingelement.com/arex helloworld.jsdl

Das Dumping der Stellenbeschreibung erfolgt wie folgt:
arcsub -c example.com/arex -x helloworld.jsdl

Nutzen Sie arcsub online über die Dienste von onworks.net