这是名为 FastChat 的 Linux 应用程序,其最新版本可以下载为 Releasev0.2.30.zip。 它可以在免费的工作站托管提供商 OnWorks 中在线运行。
免费下载并在线运行这个名为 FastChat with OnWorks 的应用程序。
请按照以下说明运行此应用程序:
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统,使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序,安装并运行。
SCREENSHOTS
Ad
快速聊天
商品描述
FastChat 是一个开放平台,用于训练、服务和评估基于大型语言模型的聊天机器人。 如果您没有足够的内存,可以通过在上述命令中添加 --load-8bit 来启用 8 位压缩。 这可以将内存使用量减少大约一半,但模型质量会略有下降。 它与 CPU、GPU 和 Metal 后端兼容。 具有 13 位压缩的 Vicuna-8B 可以在单个 NVIDIA 3090/4080/T4/V100(16GB) GPU 上运行。 除此之外,您还可以在上述命令中添加 --cpu-offloading,将不适合 GPU 的权重卸载到 CPU 内存上。 这需要启用8位压缩并安装bitsandbytes软件包,该软件包仅在Linux操作系统上可用。
特征
- 最先进模型的权重、训练代码和评估代码
- 具有 Web UI 和兼容 OpenAI 的 RESTful API 的分布式多模型服务系统
- 用于训练、服务和评估大型语言模型
- 减少重量转换对 CPU RAM 的要求
- 使用命令行界面进行推理
- 多种支持型号
程式语言
蟒蛇
分类目录
这是一个也可以从 https://sourceforge.net/projects/fastchat.mirror/ 获取的应用程序。 它已托管在 OnWorks 中,以便从我们的免费操作系统之一以最简单的方式在线运行。