pegasus-plan - 云端在线

程序：

您的姓名

pegasus-plan - 运行 Pegasus 以生成可执行的工作流

概要

飞马计划 [-v[-q[-V[-h]
[-D道具=值...]] [-b 字首]
[--conf 道具文件]
[-c 缓存文件[,缓存文件...]] [- 清理 净化 策略 ]
[-C 样式[,样式...]]]
[--目录 DIR]
[- 力量[--force-重新计划]
[--inherited-rc 文件[-j 字首]
[-n][-I 输入目录][-O 输出目录[-o 网站]
[-s site1[,site2...]]]
[--登台站点 s1=ss1[,s2=ss2[..]]
[--随机目录[=目录名]]
[--相对目录 DIR]
[--相对提交目录 DIR]
-d 文件

商品描述

这个 飞马计划 命令将 DAX 作为输入并生成可执行的工作流
通常以以下形式 秃鹰 提交文件，可以提交给 执行 的网站
执行。

作为生成可执行工作流的一部分，规划器需要发现：

data
Pegasus Workflow Planner 确保执行执行所需的所有数据
通过添加传输节点将可执行工作流传输到执行站点
在 DAG 中的适当点。 这是通过查找适当的 复制品
目录 以确定各种作业的输入文件的位置。 经过
默认情况下，使用基于文件的副本目录。

Pegasus Workflow Planner 也尝试减少工作流，除非指定
否则。 这是通过删除其输出文件已在
副本目录中的某个位置。 目前没有使用成本指标。 然而
优先选择与执行地点相对应的位置

规划器还可以添加节点将所有物化文件传输到输出
地点。 输出站点上的位置通过查找站点目录来确定
文件，从文件中选取的路径 pegasus.catalog.site.file 财产
计算值。

可执行文件
规划器查找转换目录以发现可执行文件的位置
在可执行工作流中引用。 用户可以指定 INSTALLED 或 STAGEABLE
目录中的可执行文件。 Pegasus 可以使用可暂存的可执行文件来暂存
未预安装的资源的可执行文件。

资源
描述了 Pegasus 可以安排工作流作业的站点布局
在站点目录中。 规划人员查找站点目录以确定站点
可以在哪些目录中执行作业，使用哪些服务器进行登入和登出
数据以及哪些作业管理器（如果适用）可用于提交作业。

现在可以在符合 DAX 架构的 DAX 中指定数据和可执行位置
3.2或更高版本。

配置

任何选项都将与其长选项同义词一起显示。

-D属性=值
这个 -D 选项允许有经验的用户覆盖某些属性
影响程序执行，其中包括用户的默认位置
属性文件和 PEGASUS 主位置。 可以通过以下方式设置多个 CLI 属性
多次给出这个选项。 这 -D 选项必须是第一个选项
命令行。 CLI 属性优先于
同样的钥匙。

-d 文件, ——达克斯 文件
DAX 是描述抽象工作流的 XML 输入文件。 这是强制性的
选项，必须使用。

-b 字首, --基本名称 字首
构建每个工作流文件（如 dagman）时要使用的基本名称前缀
文件（.dag 文件）和其他由 Condor 创建的工作流特定文件。 通常
此前缀取自 dax 的根元素中指定的 name 属性
文件。

-c 文件[,文件,...], --缓存 文件[,文件……]
以逗号分隔的副本缓存文件路径列表，这些文件覆盖了来自
特定 LFN 的副本目录。

缓存文件中的每个条目都描述了一个 LFN 、相应的 PFN 和
相关属性。 应为每个条目指定池属性。

LFN_1 PFN_1 池=[站点句柄 1]
LFN_2 PFN_2 池=[站点句柄 2]
...
LFN_N PFN_N [站点句柄 N]

要将缓存文件视为补充副本目录，请设置属性
飞马.catalog.replica.cache.asrc 为真。 这导致缓存中的映射
要与副本目录中的映射合并的文件。 因此，对于一个特定的
LFN 缓存文件和副本目录中的条目都可用于副本
选择。

-C 样式[,样式,...], - 簇 样式[,样式……]
应用于工作流的以逗号分隔的聚类样式列表。 这种模式
操作导致将 n 个计算作业聚集成一个更大的作业以减少远程
调度开销。 您可以指定要递归的聚类技术列表
将它们应用到工作流程中。 例如，这允许您在
工作流使用水平聚类，然后使用基于标签的聚类
进行垂直聚类的中间工作流。

集群作业可以在远程站点上按顺序或使用 MPI 运行。
这可以通过设置属性来指定 Pegasus.job.聚合器. 该物业可以
通过关联 PEGASUS 配置文件密钥覆盖 倒塌器 要么与
转换目录中的转换或站点中的执行站点
目录。 指定的值（对属性或配置文件）是
用于集群作业的转换。 请注意，聚类将
仅当相应的转换在转换中编目时才会发生
目录。

PEGASUS 附带一个集群可执行文件 飞马集群 可以在
$PEGASUS_HOME/bin 目录。 它按顺序运行集群作业中的作业
远程站点的同一节点。

此外，一个名为 pegasus-mpi-cluster' 的基于 MPI 的聚类工具也是
分发，可以在 bin 目录中找到。 pegasus-mpi-cluster 也可以
在 sharedfs 设置中使用，需要针对远程站点 MPI 进行编译
安装。 目录。 包装器在每个 MPI 节点上运行，第一个是
master 和其余的作为工人。

默认情况下， 飞马集群 用于集群作业，除非在
属性或通过 pegasus 配置文件键 倒塌器.

当前支持以下类型的聚类样式：

· 横 是聚类的风格，其中相同级别的工作
聚合成更大的工作。 工作流的一个级别被定义为最大
节点到工作流根的距离。 集群只发生在作业上
相同类型，即它们指的是相同的逻辑转换
转换目录。

水平聚类可以以两种模式之一运行。 一个。 基于作业计数。

聚类的粒度可以通过关联 PEGASUS
配置文件密钥 簇大小 或 PEGASUS 配置文件密钥 簇数 与
转型。

这个 簇大小 键表示需要将多少作业聚集到更大的
集群作业。 cluster.num 键指示要创建多少个集群作业
在特定执行站点为特定级别创建。 如果两个键都
为特定转换指定，然后使用clusters.num 键值
确定聚类粒度。

1. 基于运行时。

根据运行时集群作业，用户需要设置一个属性和两个
配置文件键。 属性 pegasus.clusterer.preference 必须设置为
折扣值 运行. 此外，用户需要指定两个 Pegasus 配置文件。 一个。
cluster.maxruntime 指定最大持续时间
集群作业应该运行。 湾job.runtime 指定持续时间
与配置文件键关联的作业运行的对象。 理想情况下，
cluster.maxruntime 应该在转换目录和 job.runtime 中设置
应该为每个作业单独设置。

· 标签 是一种聚类风格，您可以在其中标记工作流程中的作业。
级别相同的作业放在同一个集群作业中。 这使您可以
跨级别汇总工作，或以最适合您的方式
应用程序。

要标记工作流，您需要将 PEGASUS 配置文件与
达克斯。 用于标记工作流的配置文件键可以由属性设置
pegasus.clusterer.label.key. 它默认为标签，这意味着如果你有飞马
profile 带有作业的键标签，与 pegasus 配置文件具有相同值的作业
键标签将进入同一个集群作业。

- 清理 净化 策略
用于工作流的清理策略。 Pegasus 可以将清理作业添加到
可以在工作流期间删除文件和目录的可执行工作流
执行。

目前支持以下类型的清理策略：

· 没有 完全禁用清理。 规划器不会在
任何可执行的工作流程。

· 叶 规划器为每个临时站点添加一个叶清理节点，以删除
由工作流中的 create dir 作业创建的目录。

· 到位 除了叶子清理节点之外，规划器还添加了每个清理节点
删除执行期间不再需要的文件的工作流级别。 为了
例如，添加的清理节点将删除特定计算的输入文件
作业成功完成后作业。

--conf 属性文件
包含属性规划器需要使用的属性文件的路径
规划工作流程。

--目录 DIR
通常希望 Pegasus Workflow Planner 输出的基本目录
condor 提交文件，待生成。 Pegasus 在此创建目录结构
基于用户名、VO 组和工作流标签的基本目录
DAX。

默认情况下，基本目录是运行该目录的目录 飞马计划
命令。

-f, - 力量
这绕过了减少抽象 DAG 的减少阶段，基于
副本目录返回的输出文件的位置。 这是
类似于 使 可执行工作流的样式生成。

--force-重新计划
默认情况下，对于分层工作流，如果 DAX 作业失败，则在作业中重试救援
提交关联工作流的 DAG。 此选项会导致 Pegasus 重新规划
DAX 作业，以防万一失败。

-g, - 团体
用户所属的VO组。

-h, - 帮帮我
显示所有选项 飞马计划 命令。

--inherited-rc 文件 文件[,文件……]
以逗号分隔的副本文件路径列表。 这些中提到的地点有
低于 DAX 文件中位置的优先级。 通常使用此选项
内部用于分层工作流，其中提到的文件位置
父（包含）工作流 DAX，传递给子工作流（对应）到
DAX 工作。

-I, --输入目录
输入文件所在的输入目录的路径。 这在内部加载了一个
基于目录的副本目录后端，构建目录列表以
为输入目录中的文件创建 LFN→PFN 映射。 您可以指定
命令行或属性文件上的其他属性来控制
与映射关联的站点属性和 url 前缀。

pegasus.catalog.replica.directory.site 指定要关联的池属性
映射。 默认为本地

pegasus.catalog.replica.directory.url.prefix 指定要使用的 URL 前缀，而
构建 PFN。 默认为 file://

-j 字首, --作业前缀 字首
用于构建作业提交文件的文件名的作业前缀。

-n, --nocleanup
此选项已弃用。 使用 --cleanup none 代替。

-o 网站, --输出站点 网站
DAX 的输出文件传输到的输出站点。

默认情况下 物化 data 保留在工作目录中 执行
创建它的站点。 只有那些输出文件被传输到输出站点
在 DAX 中将其传输属性设置为 true。

-O 产量 目录, --输出目录 产量 目录
DAX 的输出文件传输到的输出目录。

如果指定了 -o，则指定为输出站点的站点的存储目录为
更新为通过的目录。 如果未指定输出站点，则此选项
在内部将输出站点设置为本地，并将存储目录更新为
目录通过。

-q, - 安静的
降低日志记录级别。

-r[目录名], --随机目录[=目录名]
Pegasus Worfklow Planner 将创建目录作业添加到可执行工作流中
创建一个目录，在该目录中该工作流的所有作业在特定站点上执行。
创建的目录位于工作目录中（在站点目录中指定
每个站点）。

默认情况下，Pegasus 在提交主机上复制相对目录结构
远程站点。 用户可以不带参数指定此选项来创建随机
由创建目录创建的执行目录的基于时间戳的名称
工作。 用户可以指定此选项的可选参数来指定
要创建的目录的基本名称。

create dir 作业是指 总监 作为一部分提供的可执行文件
飞马工人包。 转换目录搜索转换
命名 飞马：：经理 对于工作流所在的所有远程站点
预定。 Pegasus 可以为 dirmanager 可执行文件创建一个默认路径，如果
飞马_HOME 环境变量与站点目录中的站点关联为
环境配置文件。

--相对目录 DIR
相对于可执行工作流所在的基本目录的目录
生成并执行。 这会覆盖 Pegasus 的默认目录结构
基于用户名、VO 组和 DAX 标签创建。

--相对提交目录 DIR
相对于可执行工作流所在的基本目录的目录
生成。 这将覆盖 Pegasus 创建的默认目录结构
在用户名、VO 组和 DAX 标签上。 通过指定 --相对目录 和
--相对提交目录 你可以有不同的相对执行目录
远程站点和提交主机上的不同相对提交目录。

-s 网站[,网站,...], --网站 网站[,网站……]
要在其上执行工作流的执行站点的逗号分隔列表。
每个站点在站点目录中都应该有一个正在使用的条目。 跑步
在提交主机上，将执行站点指定为 本地.

如果未指定此选项，则选择站点目录中的所有站点
作为运行工作流的候选者。

--登台站点 s1=ss1[,s2=ss2[..]]
逗号分隔的 key=value 对列表，其中键是执行站点和
value 是该执行站点的暂存站点。

如果在共享文件系统上运行，临时站点将自动
由计划器关联为执行站点。 如果只指定了一个值，那么
这被视为所有执行站点的暂存站点。 例如 --登台站点
本地意味着计划者将使用本地站点作为所有作业的暂存站点
在工作流程中。

-s, - 提交
提交生成的 可执行 工作流程 运用 飞马运行 脚本中
$PEGASUS_HOME/bin 目录。 默认情况下，Pegasus Workflow Planner 只生成
Condor 提交文件并且不提交它们。

-v, --详细
增加有关正在发生的事情的消息的详细程度。 默认情况下，所有 FATAL，
记录错误、控制台和警告消息。 日志层次结构如下：

1. 致命

2. 错误

3. 控制台

4. 警告

5. 信息

6. 配置

7. 调试

8. 跟踪

例如，要额外查看 INFO、CONFIG 和 DEBUG 消息，请设置 -vvv.

-V, - 版
显示 Pegasus 工作流管理系统的当前版本号。

返回 VALUE

如果 Pegasus Workflow Planner 能够成功生成可执行的工作流，
退出代码将为 0。所有运行时错误都会导致退出代码为 1。这通常在
错误配置目录等的情况 发生错误的情况
在运行时加载特定模块实现时，退出代码将为 2。这
通常是由于工厂方法在加载模块时失败。 如有其他情况
命令运行过程中发生错误，退出码为1。在大多数情况下，
记录的错误消息应该清楚地指出哪里出错了。

控制 飞马计划 记忆 消费

pegasus-plan 将尝试使用诸如 total 等因素自动确定内存限制
系统内存和潜在内存限制 (ulimits)。 自动限制可以是
通过在之前设置 JAVA_HEAPMIN 和 JAVA_HEAPMAX 环境变量来覆盖
调用飞马计划。 这些值以兆字节为单位。 根据经验，JAVA_HEAPMIN 可以
设置为 JAVA_HEAPMAX 值的一半。

飞马 性能

这不是所用属性的详尽列表。 完整的描述和列表
属性参考 $PEGASUS_HOME/doc/advanced-properties.pdf

Pegasus.selector.site
标识您要使用的站点选择器类型。 如果没有指定默认
价值 随机 用来。 其他支持的模式是 轮循 和 非Java标注 这
调用外部站点选择器。

飞马.目录.副本
指定要使用的副本目录的类型。

如果未指定，则该值默认为 RLS.

pegasus.catalog.replica.url
用于访问副本目录的联系字符串。 在 RLS 的情况下，它是 RLI url。

飞马目录.exec
站点目录中工作目录的后缀，以确定当前工作
目录。 如果是相对的，该值将被附加到工作目录中
站点配置文件。 如果是绝对的，它就构成了工作目录。

Pegasus.catalog.transformation
指定要使用的转换目录的类型。 可以使用任一文件
基于或基于数据库的转换目录。 目前默认是 文本.

pegasus.catalog.transformation.file
用作转换目录的文件的位置。

如果未指定，则使用 $PEGASUS_HOME/var/tc.data 的默认位置。

飞马目录网站
指定要使用的站点目录的类型。 可以使用基于文本的或基于
基于 xml 的站点目录。 目前默认是 XML3.

pegasus.catalog.site.file
用作站点目录的文件的位置。 如果未指定，则默认值为
$PEGASUS_HOME/etc/sites.xml 用于基于 xml 的站点目录和
$PEGASUS_HOME/etc/sites.txt 在基于文本的站点目录的情况下。

飞马座.data.configuration
此属性设置 Pegasus 以在不同环境中运行。 这可以设置为

共享文件 如果设置，Pegasus 将被设置为在共享资源上执行作业
执行站点上的文件系统。 这假设，集群的头节点和
工作节点共享一个文件系统。 这种情况下的暂存站点与
执行地点。

非共享文件 如果设置了此项，Pegasus 将被设置为在执行站点上执行作业
不依赖于头节点和工作节点之间的共享文件系统。

康多里奥 如果设置了此项，Pegasus 将被设置为在纯秃鹰池中运行作业，使用
节点不共享文件系统。 数据从
使用 Condor File IO 提交主机。

飞马.code.generator
要使用的代码生成器。 默认情况下，Condor 提交文件是为
可执行的工作流。 设置为 外壳 导致 Pegasus 生成一个 shell 脚本
可以在提交主机上执行。

使用 onworks.net 服务在线使用 pegasus-plan