UI-TARS-desktop

UI-TARS-desktop は、ByteDance のオープンソース視覚マルチモーダルエージェントスタックで、画面を見て人間のように PC とブラウザを操作します。Agent TARS（CLI と Web UI を備えた汎用マルチモーダルエージェントスタック）と、UI-TARS モデルを基盤にしたネイティブデスクトップアプリ UI-TARS Desktop の 2 つを提供します。API 経由ではなくピクセルを見てマウス・キーボード操作を実行し、クリック・フォーム入力・ウィンドウのドラッグ・ナビゲーションを行います。リポジトリは 2025 年 1 月 19 日作成、約 3.9 万スター。

主な機能

• 視覚による GUI エージェント：スクリーンショットを解釈して実マウス・キーボード操作を実行。API のないアプリでも動作。
• Agent TARS CLI：ワンコマンドインストール。ヘッドフル Web UI とヘッドレスサーバ実行に対応。
• リモート PC／ブラウザオペレータ：v0.2.0 で追加。どちらも無料で、どこからでも PC やブラウザを制御可能。
• UI-TARS-1.5 モデル対応：性能と精密な制御に優れた UI-TARS-1.5 をサポート。
• MCP 統合：Model Context Protocol で実世界ツールに接続。DOM とネットワーク検査用の Chrome DevTools MCP を含む。
• ベンチマーク上位：UI-TARS-1.5 は OSWorld・AndroidWorld など 10+ の GUI ベンチマークで従来の Claude や GPT-4o を上回る結果を報告。

使用シナリオ

このツールを使用すべき人は？

• 自動化ビルダー：繰り返しのフォーム入力、UI テスト、多段階のデスクトップワークフローを自動化。
• QA エンジニア：視覚ベースの操作でブラウザ・デスクトップアプリの E2E テストを実行。
• AI エンジニア：ターミナルや製品に GUI エージェント能力を組み込み、人間らしいタスク完了を実現。
• 研究者：UI-TARS モデルスタックでマルチモーダル GUI エージェントを評価。

解決する問題

1. API のないアプリ：API がない場合、エージェントが人のように UI を直接操作。
2. 画面データのプライバシー：ローカル実行により画面データを自機の外へ出さずに済む。
3. アプリ横断ワークフロー：複数デスクトップアプリをまたぐ多段階プロセスが自動化可能に。

料金プラン

UI-TARS-desktop は Apache-2.0 でオープンソース。デスクトップアプリと Agent TARS CLI は無料、v0.2.0 のリモート PC／ブラウザオペレータも無料です。支払うのは選んだモデルの推論コストのみで、ローカル・リモートの両モデルに対応。

優位性と独自の価値提案

1. 本物のコンピューターユース：注入コードではなくピクセルと入力イベントで操作するため、画面に見えるものすべてを操作可能。
2. 1 リポジトリ 2 製品：ターミナル／Web UI 自動化の Agent TARS と、ネイティブ GUI 制御の UI-TARS Desktop。
3. 無料のリモートオペレータ：リモート PC／ブラウザオペレータに有料プランなし。

はじめに

クイックスタートガイド

1. GitHub Releases から最新版をダウンロード、または git clone・npm install・npm run build でソースからビルド。
2. アプリを起動してモデルを選択：UI-TARS-1.5 をローカルで実行、またはリモートオペレータに接続。
3. 自然言語でタスクを与える（例：「サンノゼからニューヨークへの 9 月 1 日で最も早い便を予約して」）。
4. Agent TARS CLI や Web UI でヘッドレス・ターミナル駆動の自動化も。
5. MCP サーバでチャート、DevTools、その他の実世界ツールを拡張。

よくある質問

API キーは必要？

必須ではありません。ローカルモデルかリモートオペレータを選択できます。アプリ自体は無料・オープンソースです。

画面データは外部に送信されますか？

ローカル操作に対応しており、画面データを自機に留められます。リモートオペレータモードでは制御セッションが転送されるため、ドキュメントで詳細を確認してください。

対応モデルは？

UI-TARS-1.5 と、スタックが想定するマルチモーダル LLM、さらに MCP ツールによる拡張に対応。

browser-use と何が違う？

browser-use は Web 自動化に特化した Python ライブラリ。UI-TARS-desktop はネイティブデスクトップエージェントで、UI-TARS マルチモーダルスタックにより PC とブラウザの両方を制御します。

代替案

• browser-use：AI エージェント向けブラウザ自動化のオープンソース Python ライブラリ。
• Playwright：スクリプト型 Web テスト用のブラウザ自動化フレームワーク。
• Steel：AI エージェントとコンピューターユース向けブラウザインフラ。

ヒントとベストプラクティス

1. 既知タスクで先に検証：大量の作業を任せる前に、1 つのフローでピクセルベース制御を検証。
2. MCP ツールと併用：Chrome DevTools MCP やチャート MCP で、検査・出力の面で大幅に強化。
3. リモートセッションに注意：リモートオペレータモードは強力。アクセスを制限し、機密画面を含むセッションは確認。

まとめ

UI-TARS-desktop は、視覚ベースのコンピューターユースを実用的かつオープンソースにしました。クリック・入力・ナビゲーションを行うエージェントが欲しく、かつローカル・無料を求めるなら、現時点で最も高性能なスタックの 1 つです。