这是名为 LLM Foundry 的 Linux 应用程序，其最新版本可下载为 v0.22.0sourcecode.tar.gz。它可在免费的工作站托管服务提供商 OnWorks 上在线运行。
免费下载并在线运行名为 LLM Foundry 的应用程序 OnWorks。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
法学硕士铸造厂
商品描述
隆重推出 MPT-7B，这是我们 MosaicML 基础系列的第一款产品。 MPT-7B 是一个在 1T 文本和代码标记上从头开始训练的变压器。 它是开源的，可用于商业用途，并且与 LLaMA-7B 的质量相匹配。 MPT-7B 在 MosaicML 平台上进行了 9.5 天的训练，零人工干预，成本约为 200 万美元。 大型语言模型 (LLM) 正在改变世界，但对于资源丰富的行业实验室之外的人来说，训练和部署这些模型可能极其困难。 这引发了一系列以开源 LLM 为中心的活动，例如 Meta 的 LLaMA 系列、EleutherAI 的 Pythia 系列、StabilityAI 的 StableLM 系列以及 Berkeley AI Research 的 OpenLLaMA 模型。
功能
- 获得商业用途许可（与 LLaMA 不同）
- 经过大量数据训练（LLaMA 等 1T 代币 vs. Pythia 300B、OpenLLaMA 300B 和 StableLM 800B）
- 借助 ALiBi，准备好处理极长的输入（我们训练了多达 65k 个输入，并且可以处理多达 84k 的输入，而其他开源模型则为 2k-4k）
- 针对快速训练和推理进行了优化（通过 FlashAttention 和 FasterTransformer）
- 配备高效开源训练代码
- MPT-7B Base是一款解码器式变压器，参数为6.7B
程式语言
Python
分类
该应用程序也可以从 https://sourceforge.net/projects/llm-foundry.mirror/ 获取。 它已托管在 OnWorks 中，以便从我们的免费操作系统之一以最简单的方式在线运行。
