这是名为 Sparse Attention 的 Linux 应用，其最新版本可以下载为 sparse_attentionsourcecode.tar.gz。它可以在免费的工作站托管服务提供商 OnWorks 上在线运行。
免费在线下载并运行这个名为 Sparse Attention with OnWorks 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
稀疏注意力
商品描述
Sparse Attention 是 OpenAI 发布的 Sparse Transformer 模型代码，该模型在论文《使用 Sparse Transformers 生成长序列》中有所介绍。它探索了如何利用稀疏模式修改自注意力机制，从而减少标准 Transformer 的二次缩放，从而高效地对更长的序列进行建模。该代码库提供了稀疏注意力层的实现、训练代码以及基准数据集的评估脚本。它重点介绍了固定和可学习的稀疏模式，这些模式在计算成本和模型表达能力之间取得了平衡。通过在更长的上下文中实现易于处理的训练，该项目为大规模文本和图像生成应用打开了大门。尽管已存档，但它仍然是高效 Transformer 研究的重要参考，影响了许多旨在延长序列长度同时减少计算量的后续架构。
功能
- 稀疏 Transformer 注意力机制的参考实现
- 通过降低二次成本来有效处理长序列
- 支持固定和可学习的稀疏模式
- 基准的训练和评估流程
- 用于复现论文实验的示例配置
- 为后续高效变压器研究奠定基础
程式语言
Python
分类
此应用程序也可从 https://sourceforge.net/projects/sparse-attention.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统之一以最便捷的方式在线运行。
