这是名为 MobileLLM 的 Linux 应用程序，其最新版本可以下载为 MobileLLMsourcecode.tar.gz。它可以在免费的工作站托管服务提供商 OnWorks 上在线运行。
免费下载并在线运行名为 MobileLLM with OnWorks 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
截图：
移动法学硕士
描述：
MobileLLM 是由 Facebook Research 开发的轻量级大型语言模型 (LLM) 框架，针对计算和内存效率至关重要的设备端部署进行了优化。该框架在 ICML 2024 论文《MobileLLM：针对设备端用例优化十亿分之一参数语言模型》中首次提出，致力于在十亿分之一参数以下的模型中提供强大的推理和泛化能力。该框架集成了多项架构创新——SwiGLU 激活函数、深度和薄层网络设计、嵌入共享和分组查询注意力机制 (GQA)——以在模型大小、推理速度和准确率之间实现卓越的平衡。MobileLLM 展现出卓越的性能，其 125M 和 350M 版本在零样本常识推理任务上的表现比之前同规模的先进模型高出高达 4.3%。
功能
- 针对十亿分之一参数 LLM 优化的变压器架构
- 结合 SwiGLU 激活、嵌入共享和分组查询注意力
- 支持 PyTorch ≥ 2.0 的分布式多节点预训练
- 在多个任务中提供最先进的零样本推理结果
- 包括适用于多种模型大小的可重复训练和评估流程
- 可扩展的设计理念，从 125 亿个参数扩展到 1.5 亿个参数
程式语言
Python、Unix 外壳
分类
此应用程序也可从 https://sourceforge.net/projects/mobilellm.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统之一以最便捷的方式在线运行。