这是名为 Infinity 的 Linux 应用，其最新版本可下载为 0.0.77sourcecode.tar.gz。它可在免费的工作站托管服务提供商 OnWorks 上在线运行。
免费下载并在线运行这款名为 Infinity with OnWorks 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
截图：
Infinity，
描述：
Infinity 是一个高吞吐量、低延迟的 REST API，用于提供向量嵌入，支持所有句子转换器模型和框架。Infinity 采用 MIT 许可证开发。Infinity 为 Gradient.ai 和其他嵌入 API 提供商提供推理支持。
功能
- 从 MTEB 部署任何模型：从 SentenceTransformers 部署您了解的模型
- 快速推理后端：推理服务器建立在 torch、optimum（onnx/tensorrt）和 CTranslate2 之上，使用 FlashAttention 充分利用 CUDA、ROCM、CPU 或 MPS 设备
- 动态批处理：当 GPU 忙于处理之前的嵌入请求时，新的嵌入请求会进入排队。新的请求一旦准备就绪，就会被快速导入到您的设备中。GPU 上的最大吞吐量与文本嵌入推理类似
- 正确且经过测试的实现：单元测试和端到端测试。通过无穷级数的嵌入与 SentenceTransformers 相同（最高可达数值精度）。允许 API 用户创建无穷级数甚至更远的嵌入。
- 可用文档
- 易于使用：该 API 基于 FastAPI 构建，Swagger 提供完善的文档。API 符合 OpenAI 的 Embedding 规范。请参阅下文了解如何开始使用
程式语言
Python
分类
大型语言模型（LLM）、LLM 推理
此应用程序也可从 https://sourceforge.net/projects/infinity.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统之一以最便捷的方式在线运行。