研究

ThinkingBox 接入 OpenEnv 验证智能体最终状态

事件时间 1 个独立来源编辑评分 70/100本站发布

先了解这件事

Microsoft 与 Hugging Face 介绍 ThinkingBox 的 OpenEnv 评测接入。该基准检查最终后端状态及副作用,覆盖 507 个业务工作流,每项任务重复试验 20 次。

变化是什么

发布的适配器通过 OpenEnv 提供评测回合,并返回二元通过或失败奖励。

对你意味着什么

智能体开发者可在部署前检查系统最终状态和任务重复执行的一致性。

联合文章描述对 507 个有状态业务工作流分别进行 20 次重复试验。ThinkingBox 检查智能体留下的记录和副作用,不把合法工具调用或肯定的最终回复当成完成任务的证据。

ThinkingBox-Bench 现通过 OpenEnv 接口提供评测,完成回合返回二元通过或失败奖励;发布的适配器用于评估。

安装文档面向 Linux 与 WSL,需要 Python 3.11+、uv 和 Docker,以及独立模型端点与配套服务。这是发布方报告的方法,不是 AI 星图自行复现的结果。建议先跑一项任务,核对数据库结果和运行错误,再扩展测试。

相关词条

事实核查

  • 已核实联合文章描述对 507 个有状态业务工作流分别进行 20 次重复试验。ThinkingBox 检查智能体留下的记录和副作用,不把合法工具调用或肯定的最终回复当成完成任务的证据。依据
  • 已核实ThinkingBox-Bench 现通过 OpenEnv 接口提供评测,完成回合返回二元通过或失败奖励;发布的适配器用于评估。依据

报道时间线

  1. 一手来源Hugging Face
    Hugging Face