WebsiteBench とは？料金・機能・代替

WebsiteBench は、ブラウザエージェントにとって難しいワークフローを測るオープンソースのベンチマークです。エージェントは本番サイトをブラウザで探索し、その振る舞いと見た目にできるだけ近いフルスタック実装を別に再構築します。ホスト型ブラウザAPIやノーコードのサイト生成器ではなく、エージェント、モデル、プロンプト、ブラウザ実行環境を再現可能に比較するための評価セットです。

公式プロジェクトページと README では、70 のWebサイトと 46,916 件の隠しテストケースを説明しています。タスクは機能と視覚チェックポイントの両方を検証します。WebsiteBench の報酬は通過したケースの割合で、README では視覚チェックポイントに正規化 SSIM 0.99 が必要とされています。コード、タスク定義、verifier は Apache-2.0 ですが、参照サイトを再現した第三者コンテンツの権利は元の所有者に残り、非商用研究評価用です。

測定すること

ブラウザからのリバースエンジニアリング: デザインファイルや元リポジトリを渡さず、動いている参照サイトの探索から始めます。
フルスタックの再構築: スクリーンショットだけを真似た実装では見落としやすい、操作とアプリケーションの振る舞いを対象にします。
隠しの機能・視覚チェック: README によると各タスクには 302 から 2,016 件の隠しケースがあり、公開例だけへの最適化を抑えます。
Harbor 連携: タスクは Harbor Hub で公開され、Harbor での実行方法と Codex agent の設定例があります。
ダウンロード可能なタスク: 公式の websitebench PyPI パッケージでタスクを取得でき、ローカルやCIで評価を再現できます。

実践的な進め方

最初から 70 サイトすべてを走らせず、medium タスクを一つ選びます。Docker、Harbor、websitebench を準備してタスクをダウンロードし、同じ agent、モデル、環境で二回走らせてばらつきを確認します。verifier の出力を見て、視覚差分と機能不全を分けてから、プロンプト、ツール権限、ブラウザ方針を変えてください。基準が安定してから、全データセットを制御された評価ランナーに載せるのが安全です。

リポジトリの例は harbor run --dataset websitebench/WebsiteBench@v1 --agent codex --model '<model>' です。依存関係セットアップ用の許可ホストも列挙されていますが、本番用の認証情報にそのまま使うべきではありません。隔離環境、別の API キー、利用上限、監査可能なログを用意してください。

向く用途と代替案

サイトを見てから実装するコーディングエージェントの評価、Web agent の研究、agent harness の回帰テストに向きます。必要なのが評価セットではなくブラウザ実行レイヤーなら、browser-use や Playwright を検討してください。エージェント実行用の隔離サンドボックスを重視する場合は E2B と比較できます。

制限と安全な利用

参照サイトの第三者コンテンツは非商用研究用途に限定されています。素材、文言、実装を製品の成果物として流用してはいけません。隠しテストに通っても、実アカウント、支払い、個人データを安全に扱える証明にはなりません。テスト用ブラウザを隔離し、不要なネットワークアクセスを止め、デプロイ前に生成された依存関係と設定変更を確認してください。