pegasus-analyzer - Online in der Cloud

PROGRAMM:

NAME/FUNKTION

pegasus-analyzer – debuggt einen Workflow.

ZUSAMMENFASSUNG

Pegasus-Analysator [--help|-h] [--ruhig|-q] [--strikt|-s]
[--monitord|-m|-t] [- ausführlich|-v]
[--output-dir|-o Ausgabeverzeichnis]
[--dag dag_filename] [--dir|-d|-i Eingabeverzeichnis]
[--drucken|-p print_options] [--Typ Workflowtyp]
[--debug-job Job][--debug-dir debug_dir]
[--local-executable aus einer regionalen Benutzer ausführbar]
[--conf|-c Eigenschaftsdatei] [--Dateien]
[--top-dir dir_name] [--rekursion|-r]
[Workflowverzeichnis]

BESCHREIBUNG

Pegasus-Analysator ist ein Befehlszeilendienstprogramm zum Parsen von jobstate.log Datei und Berichterstattung
erfolgreiche und gescheiterte Jobs. Wenn es ohne Optionen ausgeführt wird, wird es abgefragt SQLite or
MySQL Datenbank und rufen Informationen zu fehlgeschlagenen Jobs für den jeweiligen Workflow ab. Wenn
aufgerufen mit dem --Dateien Mit dieser Option werden Informationen aus mehreren Protokolldateien abgerufen.
Isolieren von Aufträgen, die nicht erfolgreich abgeschlossen wurden, und Drucken dieser Aufträge stdout und stderr so
dass Benutzer detaillierte Informationen über ihre Workflow-Ausführungen erhalten können.

OPTIONAL

-h, --help
Druckt eine Nutzungszusammenfassung mit allen verfügbaren Befehlszeilenoptionen.

-q, --ruhig
Geben Sie nur die Ausgabe- und Fehlerdateinamen anstelle ihres Inhalts aus.

-s, --strikt
Rufen Sie die Ausgabe- und Fehlerdateinamen der Jobs aus der Übergabedatei des Jobs ab.

-m, -t, --monitord
aufrufen pegasus-monitord vor der Analyse jobstate.log Datei. Obwohl
Pegasus-Analysator kann sowohl während der Workflow-Ausführung als auch danach ausgeführt werden
Der Workflow hat die Ausführung bereits abgeschlossen. pegasus-monitord" wird immer mit aufgerufen
--Wiederholung Möglichkeit. Da mehrere Instanzen von pegasus-monitord" sollte nicht ausgeführt werden
Gleichzeitig im selben Workflow-Verzeichnis sollte der Benutzer sicherstellen, dass keine anderen
Instanzen von pegasus-monitord Rennen. Wenn die run_directory ist beschreibbar,
Pegasus-Analysator erstellt eine jobstate.log Datei dort, rotieren ein älteres Protokoll, falls vorhanden
gefunden. Wenn die run_directory ist nicht beschreibbar (z. B. wenn der Benutzer das debuggt
Der Workflow ist nicht derselbe Benutzer, der den Workflow ausgeführt hat.) Pegasus-Analysator wird ausgehen und
Bitten Sie den Benutzer, die bereitzustellen --output-dir Option, um eine Alternative anzubieten
Standort für pegasus-monitord Protokolldateien.

-v, - ausführlich
Legt die Protokollebene für fest Pegasus-Analysator. Wenn es weggelassen wird, ist es die Standardeinstellung Grad des wird auf eingestellt
WARNUNG. Wenn diese Option angegeben ist, wird die Protokollebene auf geändert INFOS. Wenn diese Option
wiederholt wird, wird die Protokollebene auf geändert DEBUGGEN.

-o Ausgabeverzeichnis, --output-dir Ausgabeverzeichnis
Diese Option bietet einen alternativen Speicherort für alle Überwachungsprotokolldateien für a
bestimmten Arbeitsablauf. Es wird hauptsächlich verwendet, wenn ein Benutzer keine Schreibrechte hat
ein Workflow-Verzeichnis und muss die benötigten Protokolldateien generieren Pegasus-Analysator.
Wenn diese Option in Verbindung mit dem verwendet wird --monitord Option, es wird aufgerufen
pegasus-monitord mit automatisierten Ausgabeverzeichnis um alle Ausgabedateien zu speichern. Weil Workflows es können
Unterworkflows haben, pegasus-monitord erstellt seine Dateien vor dem Workflow
wf_uuid zu jedem Dateinamen. Auf diese Weise können mehrere Workflow-Dateien im selben gespeichert werden
Verzeichnis. Pegasus-Analysator verfügt über eine integrierte Logik, um das Spezifische zu finden jobstate.log Datei
indem man sich den Arbeitsablauf anschaut braindump.txt Datei zuerst und finden Sie das entsprechende heraus
wf_uuid. If Ausgabeverzeichnis nicht existiert, wird es erstellt.

--dag 'dag_filename
Bei dieser Option dag_filename Gibt den Pfad zum an TAG zu verwendende Datei.
Pegasus-Analysator erhält die Verzeichnisinformationen von dag_filename. Diese Option
überschreibt die --dir Option unten.

-d Eingabeverzeichnis, -i Eingabeverzeichnis, --dir Eingabeverzeichnis
Macht Pegasus-Analysator Suche nach jobstate.log Datei in das Eingabeverzeichnis Verzeichnis. Wenn
diese Option entfällt, Pegasus-Analysator wird im aktuellen Verzeichnis suchen.

-p print_options, --drucken print_options
Tells Pegasus-Analysator welche zusätzlichen Informationen für fehlgeschlagene Aufträge gedruckt werden sollen.
print_options ist eine durch Kommas getrennte Liste von Optionen, die Folgendes umfassen: vor, Aufruf,
und / oder alle, wodurch alle Druckoptionen aktiviert werden. Mit dem vor Option,
Pegasus-Analysator wird das ausdrucken Vorskript Informationen zu fehlgeschlagenen Jobs. Für die
Aufruf Option, Pegasus-Analysator wird das ausdrucken Aufruf Befehl, damit Benutzer es können
Führen Sie den fehlgeschlagenen Job manuell aus.

--debug-job Job
Wenn diese Option gegeben ist, Pegasus-Analysator schaltet es ein Debug-Modus, wenn es verwendet werden kann
um einen bestimmten Pegasus Lite-Job zu debuggen. In diesem Modus Pegasus-Analysator erstellt eine
Shell-Skript in der debug_dir (zur Spezifizierung siehe unten) und kopieren Sie alles Notwendige
Dateien in dieses lokale Verzeichnis kopieren und den Job dann lokal ausführen.

--debug-dir debug_dir
Wenn in Debug-Modus, Pegasus-Analysator erstellt ein temporäres Debug-Verzeichnis. Benutzer
kann diese Option geben, um etwas Besonderes zu spezifizieren debug_dir Verzeichnis, das verwendet werden soll
stattdessen.

--local-executable aus einer regionalen Benutzer ausführbar
Im Debug-Job-Modus für Pegasus Lite-Jobs erstellt pegasus-analyzer ein Shell-Skript
um den Pegasus Lite-Job lokal in einem Debug-Verzeichnis auszuführen. Das Pegasus Lite-Skript
bezieht sich auf den ausführbaren Pfad des Remote-Benutzers. Mit dieser Option kann der lokale Pfad übergeben werden
an die vom Benutzer ausführbare Datei auf dem Submit-Host. Wenn der Pfad zur ausführbaren Datei des Benutzers im
Der Pegasus Lite-Job ist derselbe wie die lokale Installation.

--Typ Workflowtyp
In diesen Optionen legen Benutzer fest, was Workflowtyp Sie wollen debuggen. In diesem Moment,
das einzige Workflowtyp verfügbar ist Kondor und es ist der Standardwert, wenn diese Option aktiviert ist
ist nicht angegeben.

-c Eigenschaftsdatei, --conf Eigenschaftsdatei
Mit dieser Option wird eine alternative Eigenschaftendatei angegeben, die Folgendes enthalten kann
Pfad zur Datenbank, die verwendet werden soll Pegasus-Analysator. Wenn diese Option nicht angegeben ist,
die in der angegebene Konfigurationsdatei braindump.txt Die Datei hat Vorrang.

--Dateien
Mit dieser Option können Benutzer ausführen Pegasus-Analysator Verwenden der Dateien im Workflow
Verzeichnis statt der Datenbank als Informationsquelle. Pegasus-Analysator werden wir
Um die gleichen Informationen auszugeben, ändert diese Option nur, woher die Daten stammen.

--top-dir dir_name
Diese Option ermöglicht Pegasus-Analysator um Informationen zu Unterworkflows anzuzeigen, wann
Verwendung des Datenbankmodus. Beim Debuggen eines Workflows der obersten Ebene mit Fehlern in
In Unterworkflows gibt der Analysator automatisch den Befehl aus, den Benutzer verwenden sollten
Debuggen eines fehlgeschlagenen Unterworkflows. Dadurch kann der Analysator die benötigte Datenbank finden
zugreifen.

-r, --rekursion
Diese Option setzt Pegasus-Analysator um bei Bedarf automatisch in Unterworkflows zu rekursieren
des Scheiterns. Standardmäßig, wenn ein Workflow einen Unterworkflow enthält und dieser Unterworkflow
scheitert, Pegasus-Analysator meldet, dass der Unter-Workflow-Knoten fehlgeschlagen ist, und listet a auf
Befehlsaufruf, den der Benutzer ausführen muss, um zu bestimmen, welche Jobs im Sub enthalten sind
Der Workflow ist fehlgeschlagen. Wenn diese Option gesetzt ist, gibt der Analysator automatisch die aus
Befehlsaufruf und zeigt zusätzlich die fehlgeschlagenen Jobs im Sub-Workflow an.

VARIABLEN

Pegasus-Analysator erfordert keine Einstellung von Umgebungsvariablen. Es lokalisiert seine
erforderliche Python-Module basierend auf ihrem eigenen Speicherort und sollten daher nicht verschoben werden
außerhalb des bin-Verzeichnisses von Pegasus.

BEISPIEL

Die einfachste Art der Anwendung Pegasus-Analysator ist zu gehen run_directory und rufe die
Analysator:

$ pegasus-analyzer .

was verursachen wird Pegasus-Analysator um Informationen über den aktuellen Workflow auszudrucken
Verzeichnis.

Pegasus-Analysator Die Ausgabe enthält eine Zusammenfassung, gefolgt von detaillierten Informationen zu jedem
Job, der entweder fehlgeschlagen ist oder sich in einem unbekannten Zustand befindet. Hier ist der zusammenfassende Abschnitt des
Ausgabe:

**************************Zusammenfassung*********************** ****

Gesamtzahl der Arbeitsplätze: 75 (100.00 %)
# Jobs erfolgreich: 41 (54.67 %)
# Jobs fehlgeschlagen: 0 (0.00 %)
# Jobs nicht eingereicht: 33 (44.00 %)
# Jobs unbekannt: 1 (1.33 %)

jobs_succeeded sind Aufträge, die erfolgreich abgeschlossen wurden. jobs_failed sind Jobs, die haben
fertig, aber das wurde nicht erfolgreich abgeschlossen. jobs_unsubmitted sind Jobs, die es sind
aufgeführt in der dag_file, aber es wurden keine Informationen über sie in der gefunden jobstate.log Datei.
Schließlich jobs_unknown sind Jobs, die begonnen, aber noch nicht abgeschlossen wurden.

Nach der Zusammenfassung Pegasus-Analysator zeigt Informationen zu jedem Job im an
job_failed und job_unknown Kategorien.

****************Details zu fehlgeschlagenen Jobs*************************

=======================findrange_j3========================

letzter Zustand: POST_SCRIPT_FAILURE
Standort: lokal
Datei einreichen: /home/user/diamond-submit/findrange_j3.sub
Ausgabedatei: /home/user/diamond-submit/findrange_j3.out.000
Fehlerdatei: /home/user/diamond-submit/findrange_j3.err.000
--------------------Aufgabe #1 – Zusammenfassung--------
Website: lokal
Hostname: server-machine.domain.com
ausführbare Datei: (null)
Argumente: -a findrange -T 60 -i f.b2 -o f.c2
Fehler: 2
Arbeitsverzeichnis:

Im obigen Beispiel ist die findrange_j3 Der Job ist fehlgeschlagen und der Analysator zeigt an
Informationen über den Auftrag, aus denen hervorgeht, dass der Auftrag mit a abgeschlossen wurde POST_SCRIPT_FAILURE und
listet die abschicken, Möglichkeiten für das Ausgangssignal: und Fehler Dateien für diesen Job. Wann immer Pegasus-Analysator erkennt
Wenn die Ausgabedatei einen Kickstart-Datensatz enthält, wird die entsprechende Aufschlüsselung angezeigt
jede Aufgabe im Job (in diesem Fall haben wir nur eine Aufgabe). Weil Pegasus-Analysator wurde
nicht mit aufgerufen --ruhig Flag, es wird auch der Inhalt der angezeigt Möglichkeiten für das Ausgangssignal: und
Fehler Dateien (oder die stdout- und stderr-Abschnitte des Kickstart-Datensatzes), die in diesem
Fall sind beide leer.

Im Fall von SUBDAG und subdax Arbeitsplätze, Pegasus-Analysator wird es anzeigen und anzeigen
Befehl, den der Benutzer zum Debuggen dieses Unterworkflows benötigt. Zum Beispiel:

=================subdax_black_ID000009=====================

letzter Zustand: JOB_FAILURE
Standort: lokal
Datei senden: /home/user/run1/subdax_black_ID000009.sub
Ausgabedatei: /home/user/run1/subdax_black_ID000009.out
Fehlerdatei: /home/user/run1/subdax_black_ID000009.err
Dieser Job enthält Sub-Workflows!
Für weitere Informationen führen Sie bitte den folgenden Befehl aus:
pegasus-analyzer -d /home/user/run1/blackdiamond_ID000009.000
-----------------subdax_black_ID000009.out-----------------
Kondor Dagman wird hingerichtet ...
-----------------subdax_black_ID000009.err-----------------
teilt dem Benutzer das mit subdax_black_ID000009 Der Unterworkflow ist fehlgeschlagen und kann debuggt werden
unter Verwendung der angegebenen Pegasus-Analysator Befehl.

Nutzen Sie den Pegasus-Analyzer online über die Dienste von onworks.net