Ini ialah arahan pegasus-monitord yang boleh dijalankan dalam penyedia pengehosan percuma OnWorks menggunakan salah satu daripada berbilang stesen kerja dalam talian percuma kami seperti Ubuntu Online, Fedora Online, emulator dalam talian Windows atau emulator dalam talian MAC OS.
JADUAL:
NAMA
pegasus-monitord - menjejaki kemajuan aliran kerja, maklumat perlombongan
SINOPSIS
pegasus-monitord [- membantu|-membantu] [--verbose|-v]
[--melaraskan|-a i] [--latar hadapan|-N]
[--tiada-daemon|-n] [--pekerjaan|-j jobstate.log fail]
[--log|-l fail log] [--conf hartanah fail]
[--tiada-rekursif] [--tiada-pangkalan data | --tiada-acara]
[--main semula|-r] [--tiada-pemberitahuan]
[--pemberitahuan-maks max_notifications]
[--pemberitahuan-tamat masa timeout]
[--sim|-s millisleep] [--db-stats]
[--skip-stdout] [- kekuatan|-f]
[--soket] [--output-dir | -o dir]
[--dest|-d PATH or URL] [--pengekodan|-e bp | bson]
DAGMan output fail
DESCRIPTION
Program ini mengikuti aliran kerja, menghuraikan output fail dagman.out DAGMAN. Dalam
selain menjana fail jobstate.log, pegasus-monitord boleh juga digunakan milik saya
maklumat daripada fail dag aliran kerja dan fail serah dan output pekerjaan, dan sama ada
isi pangkalan data atau tulis fail acara NetLogger dengan maklumat tersebut.
pegasus-monitord juga boleh melakukan pemberitahuan apabila menjejak kemajuan aliran kerja masuk
masa sebenar.
PILIHAN
-h, - membantu
Mencetak ringkasan penggunaan dengan semua pilihan baris perintah yang tersedia.
-v, --verbose
Menetapkan tahap log untuk pegasus-monitord. Jika ditinggalkan, lalai tahap akan ditetapkan ke
BERKHATAN :. Apabila pilihan ini diberikan, tahap log ditukar kepada INFO. Jika pilihan ini
diulang, tahap log akan ditukar kepada HUTANG.
Tahap log masuk pegasus-monitord juga boleh dilaraskan secara interaktif, dengan menghantar
$1 and $2 isyarat kepada proses, masing-masing untuk kenaikan dan penurunan
peringkat log.
-a i, --melaraskan i
Untuk melaraskan perbezaan zon waktu dengan i saat, lalai ialah 0.
-N, --latar hadapan
Jangan buat daemoni pegasus-monitord, pergi melalui gerakan seolah-olah (Condor).
-n, --tiada-daemon
Jangan buat daemoni pegasus-monitord, simpan di latar depan (untuk nyahpepijat).
-j jobstate.log fail, --pekerjaan jobstate.log fail
Lokasi alternatif untuk jobstate.log fail. Lalai adalah untuk menulis a jobstate.log
dalam direktori aliran kerja. Nama fail mutlak hanya boleh digunakan jika aliran kerja
tidak mempunyai sebarang sub-aliran kerja, kerana setiap sub-aliran kerja akan menjana sendiri
jobstate.log fail. Jika nama fail alternatif, bukan mutlak, diberikan dengan ini
pilihan, pegasus-monitord akan membuat satu fail dalam setiap aliran kerja (dan sub-aliran kerja)
direktori dengan nama fail yang disediakan oleh pengguna dengan pilihan ini. Jika mutlak
nama fail disediakan dan sub-aliran kerja ditemui, mesej amaran akan dicetak
and pegasus-monitord tidak akan menjejaki sebarang sub-aliran kerja.
--log fail log, --fail log fail log
Menentukan alternatif fail log untuk digunakan dan bukannya monitord.log fail dalam utama
direktori aliran kerja. Berbeza dengan jobstate.log fail di atas, pegasus-monitord
hanya menjana satu fail log setiap pelaksanaan (dan bukan satu setiap aliran kerja dan sub-aliran kerja itu
trek).
--conf properties_file
ialah fail alternatif yang mengandungi sifat dalam kunci=nilai format, dan membenarkan pengguna
untuk mengatasi nilai yang dibaca daripada braindump.txt fail. Pilihan ini mempunyai keutamaan
fail sifat yang dinyatakan dalam braindump.txt fail. Sila ambil perhatian bahawa ini
sifat akan digunakan bukan sahaja pada aliran kerja utama, tetapi juga untuk semua sub-aliran kerja
dijumpai.
--tiada-rekursif
Pilihan ini melumpuhkan pegasus-monitord untuk mengikut secara automatik mana-mana sub-aliran kerja itu
dijumpai.
--nodatabase, --tiada-pangkalan data, --tiada-acara
Mematikan penjanaan acara (apabila pilihan ini diberikan, pegasus-monitord hanya akan
jana fail jobstate.log). Lalai adalah untuk log maklumat secara automatik ke a
Pangkalan data SQLite (lihat --dest pilihan di bawah untuk butiran lanjut). Pilihan ini mengatasi
sebarang parameter yang diberikan oleh --dest pilihan.
-r, --main semula
Pilihan ini digunakan untuk memainkan semula output aliran kerja yang telah siap. Sepatutnya
hanya digunakan selepas aliran kerja selesai (tidak semestinya berjaya). Sekiranya
jobstate.log fail ditemui, ia akan diputar. Walau bagaimanapun, apabila menggunakan pangkalan data, semua
rujukan sebelumnya kepada aliran kerja itu (dan semua sub-aliran kerjanya) akan dipadamkan daripada
ia. Apabila mengeluarkan ke fail bp, fail tersebut akan dipadamkan. Apabila berjalan dalam ulang tayang
mod, pegasus-monitord akan sentiasa berjalan dengan --tiada-daemon pilihan, dan sebarang ralat
akan dikeluarkan terus ke terminal. Juga, pegasus-monitord tidak akan memproses apa-apa
pemberitahuan semasa dalam mod main semula.
--tiada-pemberitahuan
Pilihan ini melumpuhkan pemberitahuan sepenuhnya, membuat pegasus-monitord abaikan semua
.memberitahu fail untuk semua aliran kerja yang dijejakinya.
--pemberitahuan-maks max_notifications
Pilihan ini menetapkan bilangan maksimum pemberitahuan serentak yang pegasus-monitord
akan bermula. Apabila max_notifications had tercapai, pegasus-monitord akan beratur
pemberitahuan dan tunggu skrip pemberitahuan yang belum selesai selesai sebelum memulakan a
yang baru. Jika max_notifications ditetapkan kepada 0, pemberitahuan akan dilumpuhkan.
--pemberitahuan-tamat masa timeout
Biasanya, pegasus-monitord akan memulakan skrip pemberitahuan dan menunggu selama-lamanya
ia untuk selesai. Pilihan ini membolehkan pengguna menyediakan maksimum timeout Bahawa
pegasus-monitord akan menunggu skrip pemberitahuan selesai sebelum menamatkannya.
Jika skrip pemberitahuan tidak selesai dalam masa yang munasabah, ia boleh menyebabkan
skrip pemberitahuan lain yang akan dibariskan kerana bilangan maksimum serentak
skrip dibenarkan oleh pegasus-monitord. Selain itu, sehingga semua skrip pemberitahuan
selesai, pegasus-monitord tidak akan ditamatkan.
-s millisleep, --sim millisleep
Pilihan ini mensimulasikan kelewatan antara bacaan, dengan tidur millisleep milisaat. ini
pilihan digunakan terutamanya oleh pembangun.
--db-stats
Pilihan ini menyebabkan modul pangkalan data mengumpul dan mencetak statistik pangkalan data di
akhir pelaksanaan. Ia tidak memberi kesan jika --tiada-pangkalan data pilihan diberi.
--skip-stdout
Pilihan ini menyebabkan pegasus-monitord bukan untuk mengisi stdout dan stderr pekerjaan ke dalam
Fail BP atau pangkalan data Stampede. Ia harus digunakan untuk mengelakkan peningkatan pangkalan data
saiz yang ketara dalam kes di mana pekerjaan sangat bertele-tele dalam output mereka.
-f, - kekuatan
Pilihan ini menyebabkan pegasus-monitord untuk melangkau menyemak contoh lain sendiri
sudah berjalan pada direktori aliran kerja yang sama. Tingkah laku lalai menghalang dua atau
lebih pegasus-monitord contoh daripada bermula dan berjalan secara serentak (yang akan
menyebabkan fail bp dan pangkalan data dibiarkan dalam keadaan tidak stabil). Pilihan ini sepatutnya
tidak boleh digunakan apabila pengguna mengetahui contoh sebelumnya pegasus-monitord is TIDAK
berlari lagi.
--soket
Pilihan ini menyebabkan pegasus-monitord untuk memulakan antara muka soket yang boleh digunakan untuk
penyahpepijatan lanjutan. Nombor port untuk menyambung ke pegasus-monitord boleh didapati di
yang monitord.stock fail dalam direktori aliran kerja (fail dipadamkan apabila
pegasus-monitord selesai). Jika belum dimulakan, antara muka soket juga
dicipta apabila pegasus-monitord menerima a $1 isyarat.
-o dir, --ouput-dir dir
Apabila pilihan ini diberikan, pegasus-monitord akan mencipta semua fail keluarannya dalam
direktori yang ditentukan oleh d. Pilihan ini berguna untuk membenarkan pengguna menyahpepijat a
aliran kerja dalam direktori pengguna tidak mempunyai kebenaran menulis. Dalam kes ini, semua
fail yang dihasilkan oleh pegasus-monitord akan mempunyai aliran kerja wf_uuid sebagai awalan supaya
fail daripada berbilang sub-aliran kerja boleh diletakkan dalam direktori yang sama. Pilihan ini adalah
digunakan terutamanya oleh pegasus-penganalisis. Adalah penting untuk ambil perhatian bahawa lokasi untuk
output BP fail atau pangkalan data tidak diubah oleh pilihan ini dan harus ditetapkan melalui
--dest pilihan.
-d URL params, --dest URL params
Pilihan ini membolehkan pengguna menentukan destinasi untuk peristiwa log yang dijana oleh
pegasus-monitord. Jika pilihan ini ditinggalkan, pegasus-monitord akan mencipta SQLite
pangkalan data dalam direktori larian aliran kerja dengan nama yang sama dengan aliran kerja, tetapi dengan
a . rempuhan.db awalan. Untuk kosong skim, params ialah laluan fail dengan - bermakna
keluaran standard. Untuk x-tcp skim, params adalah TCP_host[:port=14380]. Untuk pangkalan data
skim, params adalah SQLAlchemy enjin URL dengan rentetan sambungan pangkalan data yang boleh
digunakan untuk menentukan enjin pangkalan data yang berbeza. Sila lihat bahagian contoh di bawah
untuk mendapatkan maklumat lanjut tentang cara menggunakan pilihan ini. Ambil perhatian bahawa apabila menggunakan enjin pangkalan data
selain daripada sqlite, pemacu pangkalan data Python yang diperlukan perlu dipasang.
-e pengekodan, --pengekodan pengekodan
Pilihan ini menentukan cara mengekod peristiwa log. Dua kemungkinan yang ada ialah bp
and bson. Jika pilihan ini tidak dinyatakan, peristiwa akan dijana dalam bp format.
DAGMan_output_file
. DAGMan_output_file adalah satu-satunya yang memerlukan hujah baris arahan dalam pegasus-monitord
dan mesti mempunyai .dag.dagman.out sambungan.
PULANG BALIK NILAI
Sekiranya pelan itu boleh dibina, pegasus-monitord kembali dengan kod keluar 0.
Walau bagaimanapun, sekiranya berlaku ralat, kod keluar bukan sifar menunjukkan masalah. Dalam kes itu, yang
fail log harus mengandungi maklumat tambahan tentang keadaan ralat.
PERSEKITARAN PELBAGAI
pegasus-monitord tidak memerlukan sebarang pembolehubah persekitaran ditetapkan. Ia menempatkannya
modul Python yang diperlukan berdasarkan lokasinya sendiri, dan oleh itu tidak boleh dialihkan
di luar direktori bin Pegasus.
CONTOH
Biasanya, pegasus-monitord dipanggil secara automatik oleh pegasus-run dan menjejaki aliran kerja
kemajuan dalam masa nyata, menghasilkan jobstate.log fail dan SQLite yang sepadan
pangkalan data. Apabila aliran kerja gagal, dan diserahkan semula dengan DAG penyelamat, pegasus-monitord
akan secara automatik mengambil dari tempat ia pergi sebelum ini dan meneruskan jobstate.log
fail dan pangkalan data.
Jika pengguna perlu membuat jobstate.log fail selepas aliran kerja sudah selesai, fail
--main semula | -r pilihan harus digunakan semasa berjalan pegasus-monitord secara manual. Sebagai contoh:
$ pegasus_monitord -r diamond-0.dag.dagman.out
akan dilancarkan pegasus-monitord dalam mod ulang tayang. Dalam kes ini, jika a jobstate.log fail sudah
wujud, ia akan diputar dan fail baharu akan dibuat. Sekiranya diamond-0.stampede.db
Pangkalan data SQLite sudah wujud, pegasus-monitord akan membersihkan semua rujukan kepada aliran kerja
id yang dinyatakan dalam braindump.txt fail, termasuk semua sub-aliran kerja yang berkaitan dengannya
id aliran kerja.
$ pegasus_monitord -r --no-database diamond-0.dag.dagman.out
akan melakukan perkara yang sama, tetapi tanpa menjana sebarang peristiwa log.
$ pegasus_monitord -r --dest `pwd`/diamond-0.bp diamond-0.dag.dagman.out
akan mencipta fail berlian-0.bp dalam direktori semasa, yang mengandungi acara NetLogger
dengan semua data aliran kerja. Ini adalah tambahan kepada jobstate.log fail.
Untuk menggunakan pangkalan data, pengguna harus menyediakan rentetan sambungan pangkalan data dalam format:
dialek://nama pengguna:kata laluan@hos:port/pangkalan data
Lokasi dialek ialah nama pemandu asas (mysql, sqlite, nujum, postgres) dan
pangkalan data ialah nama pangkalan data yang berjalan pada pelayan di tuan rumah komputer.
Jika pengguna ingin menggunakan yang berbeza SQLite pangkalan data, pegasus-monitord memerlukan mereka
tentukan laluan mutlak fail ganti. Sebagai contoh:
$ pegasus_monitord -r --dest sqlite:////home/user/diamond_database.db diamond-0.dag.dagman.out
Berikut ialah dokumen dengan butiran untuk semua pemacu yang disokong:
http://www.sqlalchemy.org/docs/05/reference/dialects/index.html
Pilihan per pangkalan data tambahan yang berfungsi ke dalam rentetan sambungan digariskan di sana.
Adalah penting untuk ambil perhatian bahawa seseorang itu perlu mempunyai perpustakaan antara muka db yang sesuai
dipasang. Maksudnya, SQLAlchemy ialah pembalut di sekeliling perpustakaan antara muka mysql
(sebagai contoh), ia tidak menyediakan a MySQL pemandu itu sendiri. The Pegasus pengedaran
merangkumi kedua-duanya SQLAlchemy dan juga SQLite Pemandu Python.
Sebagai nota akhir, adalah penting untuk menyebut bahawa tidak seperti semasa menggunakan SQLite pangkalan data, menggunakan
SQLAlchemy dengan pelayan pangkalan data lain, cth MySQL or postgres, keperluan pangkalan data sasaran
untuk wujud. Jadi, jika pengguna ingin menyambung ke:
mysql://pegasus-user:supersecret@localhost:localport/diamond
ia perlu terlebih dahulu menyambung ke pelayan di localhost dan mengeluarkan ciptaan yang sesuai
arahan pangkalan data sebelum dijalankan pegasus-monitord as SQLAlchemy akan menjaga mencipta
jadual dan indeks jika ia belum wujud.
Gunakan pegasus-monitord dalam talian menggunakan perkhidmatan onworks.net
