WebsiteBench

WebsiteBench 是一个开源评测集，面向浏览器智能体里很难被普通代码题覆盖的工作流：智能体先在浏览器中探索一个生产网站，再重建一个在行为和视觉上尽可能接近的全栈版本。它不是托管浏览器服务，也不是一键建站产品，而是用于比较智能体、模型、提示词和浏览器运行环境的可复现实验工具。

官方项目页和 README 说明，该基准包含 70 个网站和 46,916 个隐藏测试用例。任务同时检查功能和视觉检查点；项目将任务奖励定义为通过用例的比例，README 说明视觉检查点要求归一化 SSIM 达到 0.99。代码、任务定义和验证器采用 Apache-2.0；参考网站所复现的第三方内容仍归原权利人所有，仅供非商业研究评测使用。

它评测什么

• 以浏览器探索为起点：智能体从可浏览的真实站点了解界面与行为，而不是拿到设计稿或源代码。
• 覆盖全栈重建：它会暴露只照着截图写页面容易遗漏的问题，例如交互和应用逻辑。
• 隐藏的功能与视觉检查：README 表示单个任务有 302 到 2,016 个隐藏用例，降低只针对公开示例调参的可能。
• 可接入 Harbor：任务发布在 Harbor Hub，官方给出了用 Harbor 运行的方式，并提供 Codex agent 的示例配置。
• 可下载的任务包：官方 websitebench PyPI 包可以下载任务，便于本地或 CI 中复现评测。

推荐工作流

先跑一个 medium 任务，不要直接并发跑完 70 个网站。安装 Docker、Harbor 和 websitebench，下载选定任务后，用完全相同的 agent、模型和环境连续运行两次，先确认波动范围。再查看 verifier 输出，将视觉偏差与功能错误分开，之后才调整提示词、工具权限或浏览器策略。基线稳定后，再把完整数据集放进受控评测运行器。

仓库示例为 harbor run --dataset websitebench/WebsiteBench@v1 --agent codex --model '<model>'，同时列出安装依赖所需的允许访问主机。不要把示例直接用于生产密钥：应使用隔离环境、单独 API 密钥、消费上限和可审计日志。

适用场景与替代方案

它适合评估“先看站点、后写实现”的编程智能体，研究 Web agent 行为，或为 agent harness 建立回归集。若你要的是浏览器执行层而非评测集，可看 browser-use 或 Playwright；若重点是为智能体提供交互式隔离运行环境，可比较 E2B。

限制与安全边界

参考网站的第三方内容被明确限定为非商业研究材料，不能把其中的素材、文案或实现直接作为产品交付。通过隐藏测试也不代表智能体可安全处理真实账号、付款或私密数据。请隔离测试浏览器，收紧不必要的网络访问，并在部署前审查生成的依赖与配置变更。

常见问题

WebsiteBench 是网站克隆产品吗？

不是。它是衡量智能体通过浏览器探索后能否重建网站的评测与任务数据集。

是否免费？

代码、任务定义和验证器为 Apache-2.0；运行仍会消耗你选择的计算资源，以及模型 agent 所用的服务费用。

第一步该做什么？

先阅读官方项目页，在隔离环境跑一个任务，并保存 verifier 输出、模型版本和 harness 版本。它的价值在于把演示变成可重复比较的证据。