pegasus-analyzer - Dalam Talian di Awan

JADUAL:

NAMA

pegasus-analyzer - nyahpepijat aliran kerja.

SINOPSIS

pegasus-penganalisis [- membantu|-h] [--senyap|-q] [--ketat|-s]
[--dipantau|-m|-t] [--verbose|-v]
[--output-dir|-o output_dir]
[--dag nama fail_dag] [--dir|-d|-i input_dir]
[--cetak|-p pilihan_cetak] [- jenis jenis_aliran kerja]
[--debug-job kerja][--debug-dir debug_dir]
[--local-executable tempatan pengguna boleh dilaksanakan]
[--conf|-c property_file] [--fail]
[--top-dir nama_dir] [--berulang|-r]
[workflow_directory]

DESCRIPTION

pegasus-penganalisis ialah utiliti baris arahan untuk menghuraikan jobstate.log fail dan pelaporan
pekerjaan yang berjaya dan gagal. Apabila dilaksanakan tanpa sebarang pilihan, ia akan menanyakan SQLite or
MySQL pangkalan data dan mendapatkan semula maklumat kerja yang gagal untuk aliran kerja tertentu. Bila
dipanggil dengan --fail pilihan, ia akan mendapatkan maklumat daripada beberapa fail log,
mengasingkan kerja yang tidak berjaya diselesaikan, dan mencetak mereka stdout and stderr so
bahawa pengguna boleh mendapatkan maklumat terperinci tentang aliran kerja mereka.

PILIHAN

-h, - membantu
Mencetak ringkasan penggunaan dengan semua pilihan baris perintah yang tersedia.

-q, --senyap
Hanya cetak nama fail output dan ralat dan bukannya kandungannya.

-s, --ketat
Dapatkan nama fail keluaran dan ralat kerja daripada fail serah tugas.

-m, -t, --dipantau
sembah pegasus-monitord sebelum menganalisis jobstate.log fail. walaupun
pegasus-penganalisis boleh dilaksanakan semasa pelaksanaan aliran kerja dan juga selepas
aliran kerja telah pun menyelesaikan pelaksanaan, pegasus-monitor" sentiasa dipanggil dengan
--main semula pilihan. Sejak beberapa contoh pegasus-monitor" tidak harus dilaksanakan
serentak dalam direktori aliran kerja yang sama, pengguna harus memastikan bahawa tiada yang lain
kejadian dari pegasus-monitord sedang berjalan. Sekiranya run_directory boleh ditulis,
pegasus-penganalisis akan mencipta a jobstate.log fail di sana, memutarkan log lama, jika ia
ditemui. Sekiranya run_directory tidak boleh ditulis (cth apabila pengguna menyahpepijat
aliran kerja bukan pengguna yang sama yang menjalankan aliran kerja), pegasus-penganalisis akan keluar dan
minta pengguna menyediakan --output-dir pilihan, untuk menyediakan alternatif
lokasi untuk pegasus-monitord fail log.

-v, --verbose
Menetapkan tahap log untuk pegasus-penganalisis. Jika ditinggalkan, lalai tahap akan ditetapkan ke
BERKHATAN :. Apabila pilihan ini diberikan, tahap log ditukar kepada INFO. Jika pilihan ini
diulang, tahap log akan ditukar kepada HUTANG.

-o output_dir, --output-dir output_dir
Pilihan ini menyediakan lokasi alternatif untuk semua fail log pemantauan untuk a
aliran kerja tertentu. Ia digunakan terutamanya apabila pengguna tidak mempunyai keistimewaan menulis
direktori aliran kerja dan perlu menjana fail log yang diperlukan oleh pegasus-penganalisis.
Jika pilihan ini digunakan bersama-sama dengan --dipantau pilihan, ia akan memanggil
pegasus-monitord menggunakan output_dir untuk menyimpan semua fail output. Kerana aliran kerja boleh
mempunyai sub-aliran kerja, pegasus-monitord akan mencipta failnya sebelum memulakan aliran kerja
wf_uuid kepada setiap nama fail. Dengan cara ini, berbilang fail aliran kerja boleh disimpan dalam keadaan yang sama
direktori. pegasus-penganalisis mempunyai logik terbina dalam untuk mencari yang khusus jobstate.log fail
dengan melihat aliran kerja braindump.txt fail dahulu dan memikirkan yang sepadan
wf_uuid. If output_dir tidak wujud, ia akan dicipta.

--dag 'dag_filename
Dalam pilihan ini, nama fail_dag menentukan laluan ke DAG fail untuk digunakan.
pegasus-penganalisis akan mendapat maklumat direktori daripada nama fail_dag. Pilihan ini
mengatasi --dir pilihan di bawah.

-d input_dir, -i input_dir, --dir input_dir
Membuat pegasus-penganalisis cari yang jobstate.log fail dalam input_dir direktori. Jika
pilihan ini ditinggalkan, pegasus-penganalisis akan melihat dalam direktori semasa.

-p pilihan_cetak, --cetak pilihan_cetak
Memberitahu pegasus-penganalisis apakah maklumat tambahan yang perlu dicetak untuk kerja yang gagal.
pilihan_cetak ialah senarai pilihan yang dibataskan koma, termasuk pra, permohonan,
dan / atau semua, yang mengaktifkan semua pilihan pencetakan. Dengan pra pilihan,
pegasus-penganalisis akan mencetak pra skrip maklumat untuk pekerjaan yang gagal. Untuk
permohonan pilihan, pegasus-penganalisis akan mencetak permohonan arahan, supaya pengguna boleh
jalankan kerja yang gagal secara manual.

--debug-job kerja
Apabila diberi pilihan ini, pegasus-penganalisis menghidupkannya mod_debug, apabila ia boleh digunakan
untuk nyahpepijat kerja Pegasus Lite tertentu. Dalam mod ini, pegasus-penganalisis akan mencipta a
skrip shell dalam debug_dir (lihat di bawah, untuk menyatakannya) dan salin semua yang diperlukan
fail ke direktori tempatan ini dan kemudian laksanakan kerja secara setempat.

--debug-dir debug_dir
Apabila di mod_debug, pegasus-penganalisis akan mencipta direktori nyahpepijat sementara. Pengguna
boleh memberikan pilihan ini untuk menentukan yang tertentu debug_dir direktori yang akan digunakan
sebaliknya.

--local-executable tempatan pengguna boleh dilaksanakan
Apabila dalam mod kerja nyahpepijat untuk kerja Pegasus Lite, penganalisis pegasus mencipta skrip shell
untuk melaksanakan tugas Pegasus Lite secara setempat dalam direktori nyahpepijat. Skrip Pegasus Lite
merujuk kepada laluan boleh laku pengguna jauh. Pilihan ini boleh digunakan untuk melepasi laluan tempatan
kepada pengguna boleh laku pada hos hantar. Jika laluan kepada pengguna boleh laku dalam
Tugas Pegasus Lite adalah sama seperti pemasangan tempatan.

- jenis jenis_aliran kerja
Dalam pilihan ini, pengguna menentukan apa jenis_aliran kerja mereka mahu nyahpepijat. Pada saat ini,
satu-satunya jenis_aliran kerja ada adalah condor dan ia adalah nilai lalai jika pilihan ini
tidak dinyatakan.

-c property_file, --conf property_file
Pilihan ini digunakan untuk menentukan fail sifat alternatif, yang mungkin mengandungi
laluan ke pangkalan data untuk digunakan oleh pegasus-penganalisis. Jika pilihan ini tidak dinyatakan,
fail konfigurasi yang dinyatakan dalam braindump.txt fail akan diutamakan.

--fail
Pilihan ini membolehkan pengguna untuk menjalankan pegasus-penganalisis menggunakan fail dalam aliran kerja
direktori dan bukannya pangkalan data sebagai sumber maklumat. pegasus-penganalisis akan
mengeluarkan maklumat yang sama, pilihan ini hanya mengubah dari mana data berasal.

--top-dir nama_dir
Pilihan ini membolehkan pegasus-penganalisis untuk menunjukkan maklumat tentang sub-aliran kerja apabila
menggunakan mod pangkalan data. Apabila menyahpepijat aliran kerja peringkat atas dengan kegagalan dalam
sub-aliran kerja, penganalisis akan secara automatik mencetak arahan yang perlu digunakan oleh pengguna
nyahpepijat sub-aliran kerja yang gagal. Ini membolehkan penganalisis mencari pangkalan data yang diperlukannya
akses.

-r, --berulang
Pilihan ini ditetapkan pegasus-penganalisis untuk berulang secara automatik ke dalam sub aliran kerja sekiranya berlaku
daripada kegagalan. Secara lalai, jika aliran kerja mempunyai sub aliran kerja di dalamnya dan sub aliran kerja itu
gagal, pegasus-penganalisis melaporkan bahawa nod sub aliran kerja gagal, dan menyenaraikan a
invokasi perintah yang pengguna mesti laksanakan untuk menentukan pekerjaan dalam sub
aliran kerja gagal. Jika pilihan ini ditetapkan, maka penganalisis secara automatik mengeluarkan
perintah perintah dan sebagai tambahan memaparkan kerja yang gagal dalam sub aliran kerja.

PERSEKITARAN PELBAGAI

pegasus-penganalisis tidak memerlukan sebarang pembolehubah persekitaran ditetapkan. Ia menempatkannya
modul Python yang diperlukan berdasarkan lokasinya sendiri, dan oleh itu tidak boleh dialihkan
di luar direktori bin Pegasus.

CONTOH

Cara paling mudah untuk digunakan pegasus-penganalisis adalah untuk pergi ke run_directory dan menyeru
penganalisis:

$ pegasus-penganalisis .

yang akan menyebabkan pegasus-penganalisis untuk mencetak maklumat tentang aliran kerja dalam arus
direktori.

pegasus-penganalisis output mengandungi ringkasan, diikuti dengan maklumat terperinci tentang setiap satu
pekerjaan yang gagal, atau dalam keadaan tidak diketahui. Berikut ialah bahagian ringkasan
pengeluaran:

**************************Ringkasan************************** ****

Jumlah pekerjaan : 75 (100.00%)
# pekerjaan berjaya : 41 (54.67%)
# kerja gagal : 0 (0.00%)
# pekerjaan belum dihantar : 33 (44.00%)
# pekerjaan tidak diketahui : 1 (1.33%)

pekerjaan_berjaya adalah pekerjaan yang telah diselesaikan dengan jayanya. pekerjaan_gagal adalah pekerjaan yang mempunyai
selesai, tetapi itu tidak berjaya diselesaikan. jobs_unsubmitted adalah pekerjaan yang
disenaraikan dalam fail_dag, tetapi tiada maklumat tentang mereka ditemui dalam jobstate.log fail.
Akhirnya, jobs_unknown adalah pekerjaan yang telah bermula, tetapi belum selesai.

Selepas bahagian ringkasan, pegasus-penganalisis akan memaparkan maklumat tentang setiap kerja dalam
kerja_gagal and pekerjaan_tidak diketahui kategori.

******************Butiran kerja gagal**********************

========================findrange_j3===========================

keadaan terakhir: POST_SCRIPT_FAILURE
tapak: tempatan
serahkan fail: /home/user/diamond-submit/findrange_j3.sub
fail output: /home/user/diamond-submit/findrange_j3.out.000
fail ralat: /home/user/diamond-submit/findrange_j3.err.000
--------------------Tugas #1 - Ringkasan----------------------
tapak: tempatan
nama hos : server-machine.domain.com
boleh laku : (null)
hujah : -a findrange -T 60 -i f.b2 -o f.c2
ralat: 2
pengarah kerja:

Dalam contoh di atas, findrange_j3 kerja telah gagal, dan penganalisis dipaparkan
maklumat tentang pekerjaan, menunjukkan bahawa kerja itu selesai dengan a POST_SCRIPT_FAILURE, dan
menyenaraikan mengemukakan, output and kesilapan fail untuk kerja ini. bila-bila pegasus-penganalisis mengesan
bahawa fail output mengandungi rekod permulaan, ia akan memaparkan pecahan yang mengandungi
setiap tugas dalam kerja (dalam kes ini kita hanya mempunyai satu tugas). Kerana pegasus-penganalisis adalah
tidak dipanggil dengan --senyap bendera, ia juga akan memaparkan kandungan output and
kesilapan fail (atau bahagian stdout dan stderr rekod kickstart), yang dalam ini
kes kedua-duanya kosong.

Dalam kes SUBDAG and subdax pekerjaan, pegasus-penganalisis akan menunjukkannya, dan tunjukkan
arahan yang diperlukan untuk pengguna menyahpepijat sub-aliran kerja itu. Sebagai contoh:

===subdax_black_ID000009=================================

negeri terakhir: JOB_FAILURE
tapak: tempatan
serahkan fail: /home/user/run1/subdax_black_ID000009.sub
fail output: /home/user/run1/subdax_black_ID000009.out
fail ralat: /home/user/run1/subdax_black_ID000009.err
Kerja ini mengandungi sub aliran kerja!
Sila jalankan arahan di bawah untuk maklumat lanjut:
pegasus-analyzer -d /home/user/run1/blackdiamond_ID000009.000
-----------------subdax_black_ID000009.out-----------------
Melaksanakan condor dagman ...
-----------------subdax_black_ID000009.err-----------------
memberitahu pengguna subdax_black_ID000009 sub-aliran kerja gagal, dan ia boleh dinyahpepijat
dengan menggunakan yang ditunjukkan pegasus-penganalisis perintah.

Gunakan pegasus-analyzer dalam talian menggunakan perkhidmatan onworks.net