This is the Linux app named LLMs-from-scratch whose latest release can be downloaded as LLMs-from-scratchsourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
免费下载并在线运行名为 LLMs-from-scratch with OnWorks 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
从零开始的法学硕士
商品描述
LLMs-from-scratch 是一个教育性代码库，逐步讲解如何实现现代大型语言模型组件。它强调构建模块——标记化、嵌入、注意力机制、前馈层、规范化和训练循环——因此学习者不仅能理解如何使用模型，还能理解模型的内部工作原理。该代码库倾向于清晰的 Python、NumPy 或 PyTorch 实现，这些实现可以在不被重量级框架遮蔽逻辑的情况下运行和修改。章节和笔记本涵盖了从小型玩具模型到功能更强大的 Transformer 堆栈的演变，包括采样策略和评估钩子。它注重可读性、正确性和实验性，非常适合从理论过渡到实际系统的学生和实践者。最终，您将对数据管道、优化和推理如何相互作用以生成流畅的文本有一个扎实的理解。
功能
- 标记器、注意力机制和转换器模块的逐步实现
- 清晰的 Python 笔记本和脚本，专为学习和修改而设计
- 暴露完整数据和计算流程的训练和采样循环
- 扩展选择、正则化和评估指标的探索
- 最小的依赖性，保持数学和代码的透明性
- 作为扩展到更大模型和自定义数据集的基础
程式语言
Python
分类
此应用程序也可从 https://sourceforge.net/projects/llms-from-scratch.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统之一以最便捷的方式在线运行。
