pegasus-analyzer - En ligne dans le Cloud

PROGRAMME:

Nom

pegasus-analyzer - débogue un flux de travail.

SYNOPSIS

analyseur-pegasus [--Aidez-moi|-h] [--silencieux|-q] [--stricte|-s]
[--moniteur|-m|-t] [--verbeux|-v]
[--rép-sortie|-o rép_sortie]
[--jour dag_filename] [--rép|-d|-i rép_entrée]
[--imprimer|-p options_impression] [--taper type_flux de travail]
[--debug-job JOB][--rép-debug rép_debug]
[--local-exécutable locales utilisateur exécutable]
[--conf|-c fichier_propriété] [--des dossiers]
[--top-dir nom_rép] [--récurseur|-r]
[répertoire_flux de travail]

DESCRIPTION

analyseur-pegasus est un utilitaire de ligne de commande pour analyser le jobstate.log fichier et rapport
travaux réussis et ratés. Lorsqu'il est exécuté sans aucune option, il interrogera le SQLite or
MySQL base de données et récupérer les informations sur les travaux ayant échoué pour le flux de travail particulier. Lorsque
invoqué avec le --des dossiers option, il récupérera les informations de plusieurs fichiers journaux,
isoler les travaux qui n'ont pas abouti et imprimer leurs Stdout et mes stderr so
que les utilisateurs peuvent obtenir des informations détaillées sur leurs exécutions de workflow.

OPTIONS

-h, --Aidez-moi
Imprime un résumé d'utilisation avec toutes les options de ligne de commande disponibles.

-q, --silencieux
N'imprimez que les noms de fichiers de sortie et d'erreur au lieu de leur contenu.

-s, --stricte
Obtenez les noms de fichiers de sortie et d'erreur des tâches à partir du fichier de soumission de la tâche.

-m, -t, --moniteur
invoquer moniteur-pégase avant d'analyser la jobstate.log déposer. Même si
analyseur-pegasus peut être exécuté pendant l'exécution du workflow ainsi qu'après la
le workflow a déjà terminé l'exécution, pegasus-monitord" est toujours invoqué avec le
--rejouer option. Étant donné que plusieurs instances de pegasus-monitord" ne doit pas être exécuté
simultanément dans le même répertoire de workflow, l'utilisateur doit s'assurer qu'aucun autre
instances de moniteur-pégase sont en train de courir. Si la répertoire_exécution est accessible en écriture,
analyseur-pegasus va créer un jobstate.log fichier là, en faisant tourner un ancien journal, s'il
est trouvé. Si la répertoire_exécution n'est pas accessible en écriture (par exemple lorsque l'utilisateur débogue le
le workflow n'est pas le même utilisateur qui a exécuté le workflow), analyseur-pegasus sortira et
demander à l'utilisateur de fournir le --rép-sortie option, afin de fournir une alternative
emplacement pour moniteur-pégase fichiers journaux

-v, --verbeux
Définit le niveau de journalisation pour analyseur-pegasus. S'il est omis, la valeur par défaut niveau sera réglé sur
ATTENTION. Lorsque cette option est donnée, le niveau de journalisation est modifié en INFO. Si cette option
est répété, le niveau de journal sera modifié en DEBUG.

-o rép_sortie, --rép-sortie rép_sortie
Cette option fournit un emplacement alternatif pour tous les fichiers journaux de surveillance pour un
flux de travail particulier. Il est principalement utilisé lorsqu'un utilisateur n'a pas de privilèges d'écriture sur
un répertoire de workflow et doit générer les fichiers journaux nécessaires à analyseur-pegasus.
Si cette option est utilisée en conjonction avec le --moniteur option, il invoquera
moniteur-pégase en utilisant rép_sortie pour stocker tous les fichiers de sortie. Parce que les workflows peuvent
avoir des sous-workflows, moniteur-pégase créera ses fichiers avant le workflow
wf_uuid à chaque nom de fichier. De cette façon, plusieurs fichiers de workflow peuvent être stockés dans le même
répertoire. analyseur-pegasus a une logique intégrée pour trouver le jobstate.log filet
en regardant le flux de travail braindump.txt fichier d'abord et déterminer le correspondant
wf_uuid. If rép_sortie n'existe pas, il sera créé.

--jour 'dag_filename
Dans cette option, dag_filename spécifie le chemin d'accès au JOUR fichier à utiliser.
analyseur-pegasus obtiendra les informations du répertoire à partir du dag_filename. Cette option
remplace le --rép option ci-dessous.

-d rép_entrée, -i rép_entrée, --rép rép_entrée
Donne analyseur-pegasus Cherchez le jobstate.log déposer dans le rép_entrée annuaire. Si
cette option est omise, analyseur-pegasus cherchera dans le répertoire courant.

-p options_impression, --imprimer options_impression
Dit analyseur-pegasus quelles informations supplémentaires il doit imprimer pour les travaux ayant échoué.
options_impression est une liste d'options séparées par des virgules, qui incluent pré, invocation,
et/ou tous, qui active toutes les options d'impression. Avec le pré option,
analyseur-pegasus imprimera le pré-script informations pour les travaux échoués. Pour le
invocation option, analyseur-pegasus imprimera le invocation commande, afin que les utilisateurs puissent
exécuter manuellement le travail qui a échoué.

--debug-job JOB
Lorsqu'on lui donne cette option, analyseur-pegasus allume son Mode débogage, quand il peut être utilisé
pour déboguer un travail Pegasus Lite particulier. Dans ce mode, analyseur-pegasus va créer un
script shell dans le rép_debug (voir ci-dessous, pour le spécifier) ​​et copiez tous les éléments nécessaires
fichiers dans ce répertoire local, puis exécutez le travail localement.

--rép-debug rép_debug
Quand à Mode débogage, analyseur-pegasus créera un répertoire de débogage temporaire. Utilisateurs
peut donner cette option afin de spécifier un rép_debug répertoire à utiliser
à la place.

--local-exécutable locales utilisateur exécutable
En mode de débogage pour les tâches Pegasus Lite, pegasus-analyzer crée un script shell
pour exécuter le travail Pegasus Lite localement dans un répertoire de débogage. Le script Pegasus Lite
fait référence au chemin de l'exécutable de l'utilisateur distant. Cette option peut être utilisée pour passer le chemin local
à l'exécutable utilisateur sur l'hôte de soumission. Si le chemin d'accès à l'exécutable utilisateur dans le
Le travail Pegasus Lite est identique à l'installation locale.

--taper type_flux de travail
Dans ces options, les utilisateurs spécifient ce type_flux de travail ils veulent déboguer. À ce moment là,
le seul type_flux de travail disponible est condor et c'est la valeur par défaut si cette option
n'est pas spécifié.

-c fichier_propriété, --conf fichier_propriété
Cette option est utilisée pour spécifier un fichier de propriétés alternatif, qui peut contenir le
chemin d'accès à la base de données à utiliser par analyseur-pegasus. Si cette option n'est pas spécifiée,
le fichier de configuration spécifié dans le braindump.txt fichier aura préséance.

--des dossiers
Cette option permet aux utilisateurs d'exécuter analyseur-pegasus utiliser les fichiers dans le workflow
répertoire au lieu de la base de données comme source d'information. analyseur-pegasus sera
sortir les mêmes informations, cette option ne change que l'origine des données.

--top-dir nom_rép
Cette option permet analyseur-pegasus pour afficher des informations sur les sous-workflows lorsque
en utilisant le mode base de données. Lors du débogage d'un workflow de haut niveau avec des échecs dans
sous-workflows, l'analyseur imprimera automatiquement la commande que les utilisateurs doivent utiliser pour
déboguer un sous-workflow ayant échoué. Cela permet à l'analyseur de trouver la base de données dont il a besoin pour
accéder.

-r, --récurseur
Cette option définit analyseur-pegasus pour réapparaître automatiquement dans les sous-workflows au cas où
d'échec. Par défaut, si un flux de travail contient un sous-flux de travail et que ce sous-flux de travail
échoue , analyseur-pegasus signale que le nœud de sous-flux de travail a échoué et répertorie un
appel de commande que l'utilisateur doit exécuter pour déterminer quels travaux dans le sous
le flux de travail a échoué. Si cette option est définie, l'analyseur émet automatiquement le
l'invocation de la commande et affiche en outre les travaux ayant échoué dans le sous-flux de travail.

ENVIRONNEMENT VARIABLES

analyseur-pegasus ne nécessite pas la définition de variables environnementales. Il localise son
modules Python requis en fonction de son propre emplacement et ne doivent donc pas être déplacés
en dehors du répertoire bin de Pegasus.

EXEMPLE

La façon la plus simple d'utiliser analyseur-pegasus est d'aller au répertoire_exécution et invoquer le
analyseur :

$ pegasus-analyseur .

ce qui provoquera analyseur-pegasus pour imprimer des informations sur le flux de travail dans le
répertoire.

analyseur-pegasus la sortie contient un résumé, suivi d'informations détaillées sur chaque
tâche qui a échoué ou est dans un état inconnu. Voici la section récapitulative de la
sortie:

**************************Sommaire*********************** ****

Nombre total d'emplois : 75 (100.00 %)
# jobs réussis : 41 (54.67%)
# tâches échouées : 0 (0.00%)
# offres d'emploi non soumises : 33 (44.00%)
# emplois inconnus : 1 (1.33 %)

jobs_succeded sont des travaux qui se sont terminés avec succès. jobs_failed sont des emplois qui ont
terminé, mais cela ne s'est pas terminé avec succès. jobs_unsubmit sont des emplois qui
énumérés dans le fichier_dag, mais aucune information à leur sujet n'a été trouvée dans le jobstate.log fichier.
Enfin, emplois_inconnus sont des tâches qui ont commencé, mais qui ne sont pas terminées.

Après la section récapitulative, analyseur-pegasus affichera des informations sur chaque tâche dans le
job_failed et mes job_inconnu catégories.

******************Détails des travaux échoués************************

=======================findrange_j3==========================

dernier état : POST_SCRIPT_FAILURE
site : local
soumettre le fichier : /home/user/diamond-submit/findrange_j3.sub
fichier de sortie : /home/user/diamond-submit/findrange_j3.out.000
fichier d'erreur : /home/user/diamond-submit/findrange_j3.err.000
--------------------Tâche #1 - Résumé -----------------------
site : local
nom d'hôte : machine-serveur.domaine.com
exécutable : (null)
arguments : -a findrange -T 60 -i f.b2 -o f.c2
erreur : 2
dir de travail :

Dans l'exemple ci-dessus, le findrange_j3 le travail a échoué et l'analyseur affiche
informations sur le travail, montrant que le travail s'est terminé avec un POST_SCRIPT_FAILURE et
dresse la liste des soumettre, sortie et mes erreur fichiers pour ce travail. N'importe quand analyseur-pegasus détecte
que le fichier de sortie contient un enregistrement kickstart, il affichera la répartition contenant
chaque tâche du travail (dans ce cas, nous n'avons qu'une seule tâche). Parce que analyseur-pegasus était
pas invoqué avec le --silencieux indicateur, il affichera également le contenu du sortie et mes
erreur (ou les sections stdout et stderr de l'enregistrement kickstart), qui dans ce
cas sont tous les deux vides.

Dans le cas d' SOUS-DAG et mes sous-dax emplois, analyseur-pegasus l'indiquera et montrera le
commande nécessaire à l'utilisateur pour déboguer ce sous-workflow. Par exemple:

=================subdax_black_ID000009======================

dernier état : JOB_FAILURE
site : local
soumettre le fichier : /home/user/run1/subdax_black_ID000009.sub
fichier de sortie : /home/user/run1/subdax_black_ID000009.out
fichier d'erreur : /home/user/run1/subdax_black_ID000009.err
Ce travail contient des sous-workflows !
Veuillez exécuter la commande ci-dessous pour plus d'informations :
analyseur-pegasus -d /home/user/run1/blackdiamond_ID000009.000
-----------------subdax_black_ID000009.out-----------------
Exécution de condor dagman...
-----------------subdax_black_ID000009.err-----------------
indique à l'utilisateur le subdax_black_ID000009 le sous-workflow a échoué et qu'il peut être débogué
en utilisant les indications analyseur-pegasus commander.

Utilisez pegasus-analyzer en ligne en utilisant les services onworks.net