这是名为 HumanEval 的 Linux 应用程序，其最新版本可以下载为 human-evalsourcecode.tar.gz。它可以在免费的工作站托管服务提供商 OnWorks 上在线运行。
使用 OnWorks 免费下载并在线运行这个名为 HumanEval 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
人类评估
商品描述
human-eval 是由 OpenAI 创建的基准数据集和评估框架，用于衡量语言模型生成正确代码的能力。它包含带有单元测试的手写编程问题，旨在评估功能正确性，而非文本相似性等肤浅的指标。每个任务包含一个自然语言提示和一个函数签名，要求模型生成一个能够通过所有测试的实现。该基准已成为评估代码生成模型（包括 Codex 和 GPT 系列中的模型）的标准。研究人员可以使用该数据集在不同模型之间进行可重复的比较，并跟踪功能代码合成的改进。通过关注执行过程中的正确性，human-eval 提供了一种严格且实用的方法来评估人工智能系统的编程能力。
功能
- 带有单元测试的手写编程问题集合
- 测量生成代码的功能正确性
- 包括自然语言提示和功能签名
- 评估代码生成模型的标准基准
- 实现不同模型之间的可重复比较
- 广泛用于评估 Codex、GPT 和其他代码模型
程式语言
Python
分类
此应用程序也可从 https://sourceforge.net/projects/humaneval.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统之一以最便捷的方式在线运行。
