pegasus-plan - Онлайн у хмарі

ПРОГРАМА:

ІМ'Я

pegasus-plan - запускає Pegasus для створення виконуваного робочого процесу

СИНТАКСИС

Пегас-план [-v] [-q] [-V] [-h]
[-Dprop=значення...]] [-b префікс]
[--конф propsfile]
[-c кеш-файл[,кеш-файл...]] [--прибирати прибирати стратегія ]
[-C стиль[,стиль...]]
[--реж реж]
[--сила] [--примусово-перепланувати]
[--успадковані-rc-файли] [-j префікс]
[-n][-I вхідний каталог][-O вихід-реж] [-o сайт]
[-s site1[,site2...]]
[--постановка-сайт s1=ss1[,s2=ss2[..]]
[--randomdir[=прізвище]]
[--родич-реж реж]
[--relative-submit-dir реж]
-d daxfile

ОПИС

Команда Пегас-план Команда приймає в якості вхідних даних DAX і генерує виконуваний робочий процес
зазвичай у формі кондор подати файли, які можна надіслати до an виконання сайт для
виконання.

Під час створення виконуваного робочого процесу планувальник повинен виявити:

дані
Pegasus Workflow Planner гарантує, що всі дані, необхідні для виконання
виконуваний робочий процес передається на сайт виконання шляхом додавання вузлів передачі
у відповідних точках DAG. Це робиться шляхом пошуку відповідного Копія
Каталог щоб визначити розташування вхідних файлів для різних завдань. За
за замовчуванням використовується каталог реплік на основі файлів.

Pegasus Workflow Planner також намагається зменшити робочий процес, якщо не зазначено
інакше. Це робиться шляхом видалення завдань, у яких були знайдені вихідні файли
деяке місце в каталозі реплік. Наразі не використовуються показники вартості. Однак
перевага надається місцевості, що відповідає місці виконання

Планувальник також може додати вузли для передачі всіх матеріалізованих файлів на вихід
сайт. Розташування на вихідному сайті визначається пошуком у каталозі сайту
файл, шлях до якого вибрано з pegasus.catalog.site.file власність
value.

виконувані файли
Планувальник шукає Каталог трансформації, щоб знайти розташування виконуваних файлів
згадується в робочому процесі виконуваного файлу. Користувачі можуть вказати INSTALED або STAGEABLE
виконувані файли в каталозі. Pegasus може використовувати для інсценування виконувані файли, які можна виконувати
виконувані файли на ресурси, де вони попередньо не встановлені.

ресурси
Описано розташування сайтів, на яких Pegasus може планувати завдання робочого процесу
в каталозі сайту. Планувальник шукає в каталозі сайту, щоб визначити сайт
в яких каталогах можна виконувати завдання, які сервери використовувати для входу та виходу
дані та які менеджери завдань (якщо є) можна використовувати для подання завдань.

Тепер дані та місця виконання можна вказати в DAX, що відповідає схемі DAX
версія 3.2 або вище.

ВАРІАНТИ

Будь-який параметр буде відображатися з його довгими синонімами параметрів.

-Dвластивість=цінність
Команда -D Опція дозволяє досвідченому користувачеві змінювати певні властивості, які
впливають на виконання програми, серед них місцезнаходження користувача за замовчуванням
файл властивостей і домашнє розташування PEGASUS. Можна встановити кілька властивостей CLI
надавати цю опцію кілька разів. The -D опція(и) має бути першою опцією на
командний рядок. Властивість CLI має пріоритет над властивістю файлу властивостей
той самий ключ.

-d файл, --дакс файл
DAX — це вхідний файл XML, який описує абстрактний робочий процес. Це є обов’язковим
варіант, який необхідно використати.

-b префікс, --базова назва префікс
Префікс базового імені, який буде використовуватися під час створення файлів робочого процесу, наприклад dagman
файл (файл .dag) та інші файли, що стосуються робочого процесу, створені Condor. Зазвичай
цей префікс береться з атрибута name, зазначеного в кореневому елементі dax
файли.

-c файл[,файл,...], --кеш файл[,файл,...]
Відокремлений комами список шляхів до файлів кешу реплік, які замінюють результати
каталог реплік для конкретного LFN.

Кожен запис у файлі кешу описує LFN, відповідний PFN і
пов'язані атрибути. Для кожного запису слід вказати атрибут пулу.

LFN_1 PFN_1 пул=[опис 1 сайту]
LFN_2 PFN_2 пул=[опис 2 сайту]
...
LFN_N PFN_N [дескриптор сайту N]

Щоб розглядати файли кешу як додаткові каталоги реплік, встановіть властивість
pegasus.catalog.replica.cache.asrc до істини. Це призводить до відображення в кеші
файли, які будуть об’єднані з відображеннями в каталозі реплік. Таким чином, для окремого
LFN як записи у файлі кешу, так і каталозі реплік доступні для репліки
вибір.

-C стиль[,стиль,...], -- кластер стиль[,стиль,...]
Розділений комами список стилів кластеризації для застосування до робочого процесу. Цей режим
Операція призводить до кластеризації n обчислювальних завдань у більші завдання для зменшення віддаленості
накладні витрати на планування. Ви можете вказати список методів кластеризації рекурсивно
застосувати їх до робочого процесу. Наприклад, це дозволяє об’єднати деякі вакансії в групу
робочий процес із використанням горизонтальної кластеризації, а потім використовуйте кластеризацію на основі міток
проміжний робочий процес для вертикальної кластеризації.

Кластерні завдання можна виконувати на віддаленому сайті, послідовно або за допомогою MPI.
Це можна вказати, встановивши властивість pegasus.job.aggregator. Власність може
бути змінено, пов’язавши ключ профілю PEGASUS колапс або з
перетворення в каталозі трансформації або на сайті виконання на сайті
каталог. Вказане значення (для властивості або профілю) є логічним ім’ям
перетворення, яке буде використано для кластеризації завдань. Зауважте, що кластеризація буде
відбуваються лише в тому випадку, якщо відповідні перетворення внесені в каталог у перетворенні
Каталог

PEGASUS постачається з виконуваним файлом кластеризації пегас-гроно які можна знайти в
$PEGASUS_HOME/bin каталог. Він виконує завдання в кластерному завданні послідовно на
той самий вузол на віддаленому сайті.

Крім того, також є інструмент кластеризації на основі MPI, який називається pegasus-mpi-cluster'
розповсюджується і його можна знайти в каталозі bin. pegasus-mpi-cluster також може бути
використовується в налаштуваннях sharedfs і має бути скомпільований з MPI віддаленого сайту
встановити. каталог. Обгортка запускається на кожному вузлі MPI, першим з яких є
майстер, а решта як робітники.

За замовчуванням пегас-гроно використовується для кластеризації завдань, якщо не змінено в
властивості або за допомогою ключа профілю pegasus колапс.

Наразі підтримуються такі типи стилів кластеризації:

· горизонтальний це стиль кластеризації, при якому робочі місця на одному рівні
об’єднані в більші робочі місця. Рівень робочого процесу визначається як найбільший
відстань вузла від кореня робочого процесу. Кластеризація відбувається лише на робочих місцях
одного типу, тобто вони відносяться до одного і того ж логічного перетворення в
каталог трансформації.

Горизонтальна кластеризація може працювати в одному з двох режимів. а. На основі кількості робочих місць.

Деталізацію кластеризації можна визначити, пов’язавши або PEGASUS
ключ профілю кластери.розмір або ключ профілю PEGASUS кластери.кількість з
перетворення.

Команда кластери.розмір Ключ вказує, скільки завдань потрібно об’єднати в більшу групу
групова робота. Ключ clusters.num вказує, скільки завдань має бути в кластері
створені для певного рівня на певному місці виконання. Якщо обидва ключі є
вказано для конкретного перетворення, то використовується значення ключа clusters.num
для визначення гранулярності кластеризації.

1. На основі часу виконання.

Щоб кластерувати завдання відповідно до середовища виконання, користувачеві потрібно встановити одне і два властивості
ключі профілю. Для властивості pegasus.clusterer.preference має бути встановлено значення
значення час виконання. Крім того, користувачу необхідно вказати два профілі Pegasus. а.
clusters.maxruntime, який визначає максимальну тривалість, протягом якої
кластерне завдання має виконуватися. б. job.runtime, який визначає тривалість для
для якого виконується завдання, з яким пов’язаний ключ профілю. в ідеалі,
clusters.maxruntime слід встановити в каталозі трансформації та job.runtime
слід встановлювати для кожної роботи окремо.

· етикетка — це стиль кластеризації, у якому ви можете позначити завдання у своєму робочому процесі.
Завдання з однаковим рівнем поміщаються в одне і те ж групове завдання. Це дозволяє вам
об’єднуйте робочі місця на різних рівнях або у спосіб, який найкраще підходить для вас
Додаток.

Щоб позначити робочий процес, вам потрібно пов’язати профілі PEGASUS із завданнями в
DAX. Ключ профілю, який буде використовуватися для позначення робочого процесу, може бути встановлений властивістю
pegasus.clusterer.label.key. За замовчуванням він має мітку, тобто якщо у вас є PEGASUS
мітка ключа профілю із завданнями, завдання з однаковим значенням для профілю pegasus
мітка ключа буде входити до того самого кластерного завдання.

--прибирати прибирати стратегія
Стратегія очищення, яка буде використовуватися для робочих процесів. Pegasus може додати завдання очищення
виконуваний робочий процес, який може видаляти файли та каталоги під час робочого процесу
виконання.

Наразі підтримуються такі типи стратегій очищення:

· ніхто повністю вимикає очищення. Планувальник не додає жодних завдань очищення в
будь-який виконуваний робочий процес.

· лист планувальник додає вузол очищення листків для кожного проміжного сайту, який видаляє
каталог, створений завданням create dir у робочому процесі.

· на місці планувальник додає на додаток до вузлів очищення листків, вузлів очищення за
рівень робочого процесу, який видаляє файли, які більше не потрібні під час виконання. Для
Наприклад, доданий вузол очищення видалить вхідні файли для певного обчислення
роботу після успішного завершення роботи.

--конф профіль
Шлях до файлу властивостей, який містить планувальник властивостей, який потрібно використовувати while
планування робочого процесу.

--реж реж
Базовий каталог, куди зазвичай потрібно отримувати вихідні дані Pegasus Workflow Planner
файли condor, які будуть створені. Pegasus створює в цьому структуру каталогів
базовий каталог на основі імені користувача, групи ВО та мітки робочого процесу в
DAX.

За замовчуванням базовим каталогом є каталог, з якого запускається файл Пегас-план
команда

-f, --сила
Це обходить фазу скорочення, на якій скорочується абстрактний DAG, на основі
розташування вихідних файлів, які повертає каталог реплік. Це
аналогічний а зробити генерування стилю виконуваного робочого процесу.

--примусово-перепланувати
За замовчуванням для ієрархічних робочих процесів, якщо завдання DAX не вдається, то під час виконання завдання повторіть спробу відновлення
DAG пов’язаного робочого процесу подано. Ця опція змушує Pegasus перепланувати
Натомість завдання DAX у разі збою.

-g, --група
Група VO, до якої належить користувач.

-h, --допомога
Відображає всі параметри Пегас-план команда

--успадковані-rc-файли файл[,файл,...]
Список шляхів до файлів реплік, розділених комами. Місця, згадані в них, мають a
нижчий пріоритет, ніж розташування у файлі DAX. Цей варіант зазвичай використовується
внутрішньо для ієрархічних робочих процесів, де розміщені файли, згадані в
батьківський (охоплюючий) робочий процес DAX, переданий у підпорядковані робочі процеси (відповідні)
Вакансії DAX.

-I, --input-dir
Шлях до вхідного каталогу, де знаходяться вхідні файли. Це внутрішнє навантаження a
Бекенд репліки каталогу на основі каталогу, який створює список каталогів
створіть відображення LFN→PFN для файлів у вхідному каталозі. Ви можете вказати
додаткові властивості в командному рядку або у файлі властивостей для керування
атрибут сайту та префікс URL-адреси, пов’язані із зіставленнями.

pegasus.catalog.replica.directory.site визначає атрибут пулу, з яким потрібно пов’язувати
відображення. За замовчуванням локальний

pegasus.catalog.replica.directory.url.prefix визначає префікс URL-адреси, який буде використовуватися під час
побудова PFN. За замовчуванням файл://

-j префікс, --префікс роботи префікс
Префікс завдання, який буде застосовуватися для створення імен файлів для файлів подання завдання.

-n, --nocleanup
Ця опція не підтримується. Натомість використовуйте --cleanup none.

-o сайт, -- вихідний сайт сайт
Сайт виведення, на який передаються вихідні файли DAX.

За замовчуванням матеріалізовані дані залишається в робочому каталозі на виконання
сайт, де він був створений. Лише ці вихідні файли передаються на вихідний сайт
для якого атрибуту передачі встановлено значення true в DAX.

-O вихід каталог, --вихідний каталог вихід каталог
Вихідний каталог, до якого передаються вихідні файли DAX.

Якщо вказано -o, каталог зберігання сайту, зазначений як вихідний сайт
оновлено, щоб каталог був переданий. Якщо вихідний сайт не вказано, то цей параметр
внутрішньо встановлює вихідний сайт на локальний з каталогом зберігання, оновленим до
каталог пройдено.

-q, --спокійно
Знижує рівень реєстрації.

-r[прізвище], --randomdir[=прізвище]
Pegasus Worfklow Planner додає до виконуваного робочого процесу завдання створення каталогу
створити каталог, у якому всі завдання для цього робочого процесу виконуються на певному сайті.
Створений каталог знаходиться в робочому каталозі (вказаному в каталозі сайту с
кожен сайт).

За замовчуванням Pegasus дублює відносну структуру каталогів на хості для відправки
віддалений сайт. Користувач може вказати цю опцію без аргументів, щоб створити випадковий вибір
Ім'я на основі позначки часу для каталогу виконання, створеного за допомогою створення директорії
робочі місця. Користувач може вказати необов'язковий аргумент для цього параметра, щоб вказати
базове ім'я каталогу, який потрібно створити.

Завдання створення dir відносяться до дирменеджер виконуваний файл, який постачається як частина
Пакет робітників PEGASUS. У каталозі перетворення здійснюється пошук перетворення
названий pegasus::dirmanager для всіх віддалених сайтів, де проходив робочий процес
заплановано. Pegasus може створити шлях за замовчуванням для виконуваного файлу dirmanager, якщо
ПЕГАС_ДІМ Змінна середовища пов'язана з сайтами в каталозі сайту як
профіль середовища.

--родич-реж реж
Каталог відносно базового каталогу, де він має бути виконуваним робочим процесом
створений і виконаний. Це замінює стандартну структуру каталогів Pegasus
створює на основі імені користувача, групи VO та мітки DAX.

--relative-submit-dir реж
Каталог відносно базового каталогу, де він має бути виконуваним робочим процесом
згенеровано. Це замінює структуру каталогів за замовчуванням, яку створює Pegasus
на ім’я користувача, групу VO та мітку DAX. Уточнюючи --родич-реж та
--relative-submit-dir ви можете мати різний відносний каталог виконання на
віддалений сайт і інший відносний каталог відправки на хості подання.

-s сайт[,сайт,...], --сайти сайт[,сайт,...]
Відокремлений комами список сайтів виконання, на яких має виконуватися робочий процес.
Кожен із сайтів повинен мати запис у каталозі сайтів, який використовується. Бігти
на хості відправки вкажіть сайт виконання як місцевий.

Якщо цей параметр не вказано, підбираються всі сайти з каталогу сайтів
як кандидатів на запуск робочого процесу.

--постановка-сайт s1=ss1[,s2=ss2[..]]
Відокремлений комами список пар ключ=значення, де ключ є сайтом виконання та
value — це проміжний сайт для цього місця виконання.

У разі роботи на спільній файловій системі проміжний сайт автоматично
пов’язане планувальником як місце виконання. Якщо вказано лише значення, то
це прийняте місце проведення для всіх місць виконання. наприклад --постановка-сайт
local означає, що планувальник використовуватиме локальний сайт як проміжний сайт для всіх робіт
в робочому процесі.

-s, --подати
Подає згенерований виконуваний файл робочий використання пегас-біг сценарій в
$PEGASUS_HOME/bin каталог. За замовчуванням Pegasus Workflow Planner лише генерує
Condor подає файли і не подає їх.

-v, -багатослівний
Збільшує детальність повідомлень про те, що відбувається. За замовчуванням всі FATAL,
Повідомлення ERROR, CONSOLE та WARN реєструються. Ієрархія ведення журналу така:

1. ФАТАЛ

2. ПОМИЛКА

3. КОНСОЛЬ

4. ПОПЕРЕДЖЕННЯ

5. ІНФОРМАЦІЯ

6. КОНФІГ

7. НАЛАДЖЕННЯ

8. СЛІД

Наприклад, щоб додатково переглянути повідомлення INFO, CONFIG і DEBUG, встановіть -ввв.

-V, -- версія
Відображає номер поточної версії системи керування робочими процесами Pegasus.

ПОВЕРНЕННЯ VALUE

Якщо Pegasus Workflow Planner може успішно згенерувати виконуваний робочий процес,
код виходу буде 0. Усі помилки під час виконання призводять до коду виходу 1. Зазвичай це в
випадок, коли ви неправильно налаштували свої каталоги тощо. У разі виникнення помилки
під час завантаження конкретної реалізації модуля під час виконання код виходу буде 2. Це
зазвичай через те, що заводські методи не працюють під час завантаження модуля. У разі будь-якого іншого
помилка, що виникає під час виконання команди, код виходу буде 1. У більшості випадків,
зареєстроване повідомлення про помилку має давати чітку вказівку на те, де все пішло не так.

КОНТРОЛЬ ПЕГАС-ПЛАН ПАМ'ЯТЬ ПОТРЕБЛЕННЯ

pegasus-plan спробує автоматично визначити обмеження пам'яті, використовуючи такі фактори, як загальна кількість
системна пам'ять і потенційні обмеження пам'яті (ulimits). Автоматичні обмеження можуть бути
перевизначено, попередньо встановивши змінні середовища JAVA_HEAPMIN і JAVA_HEAPMAX
виклик плану Пегаса. Значення в мегабайтах. Як правило, JAVA_HEAPMIN може
встановлюється на половину значення JAVA_HEAPMAX.

PEGASUS властивості

Це не вичерпний перелік використовуваних властивостей. Для повного опису та списку
властивостей $PEGASUS_HOME/doc/advanced-properties.pdf

pegasus.selector.site
Визначає, який тип селектора сайтів ви хочете використовувати. Якщо не вказано значення за замовчуванням
Значення випадковий використовується. Інші підтримувані режими є Кругової та Не JavaCallout Що
звертається до зовнішнього селектора сайту.

пегас.каталог.репліка
Визначає тип каталогу реплік, який буде використовуватися.

Якщо не вказано, то значення за замовчуванням дорівнює RLS.

pegasus.catalog.replica.url
Контактний рядок для доступу до каталогу реплік. У випадку RLS це URL-адреса RLI.

pegasus.dir.exec
Суфікс до робочого каталогу в каталозі сайту для визначення поточного робочого
каталог. Якщо відносне, значення буде додано до робочого каталогу з
файл site.config. Якщо абсолютний, він становить робочий каталог.

pegasus.catalog.transformation
Визначає тип каталогу перетворення, який буде використовуватися. Можна використовувати будь-який файл
на основі або на базі даних каталогу трансформації. На даний момент за замовчуванням є текст.

pegasus.catalog.transformation.file
Розташування файлу для використання як каталогу перетворення.

Якщо не вказано, використовується розташування за замовчуванням $PEGASUS_HOME/var/tc.data.

pegasus.catalog.site
Визначає тип каталогу сайту, який буде використовуватися. Можна використовувати як текстову, так і текстову
Каталог сайту на основі xml. На даний момент за замовчуванням є XML3.

pegasus.catalog.site.file
Розташування файлу для використання як каталогу сайту. Якщо не вказано, то значення за замовчуванням
$PEGASUS_HOME/etc/sites.xml використовується у випадку каталогу сайту на основі xml та
$PEGASUS_HOME/etc/sites.txt у випадку текстового каталогу сайту.

pegasus.data.configuration
Ця властивість налаштовує Pegasus для роботи в різних середовищах. Це можна встановити на

sharedfs Якщо це встановлено, Pegasus буде налаштовано на виконання завдань на спільному ресурсі
файлову систему на сайті виконання. Це передбачає, що головний вузол кластера і
робочі вузли спільно використовують файлову систему. Місце проведення в даному випадку таке ж, як і
місце виконання.

nonsharedfs Якщо це встановлено, Pegasus буде налаштовано на виконання завдань на місці виконання
не покладаючись на спільну файлову систему між головним і робочими вузлами.

кондоріо Якщо це налаштовано, Pegasus буде налаштовано на виконання завдань у чистому пулі condor
вузли, які не мають спільного доступу до файлової системи. Дані поступають на обчислювальні вузли з
подати хост за допомогою Condor File IO.

pegasus.code.generator
Генератор коду для використання. За замовчуванням файли відправлень Condor генеруються для
виконуваний робочий процес. Налаштування на Склад призводить до того, що Pegasus створює сценарій оболонки
який можна виконати на хості відправки.

Використовуйте план pegasus онлайн за допомогою служб onworks.net