UI-TARS-desktop MCPサーバー

概要

UI-TARS-desktopは、中国ByteDance（TikTok親会社）が開発・公開したオープンソースのマルチモーダルAIエージェントスタックです。中核となる「UI-TARSモデル（VLM＝画像とテキストを同時に理解するAI）」が画面のスクリーンショットを撮影・解析し、ユーザーが日本語や英語で入力した指示をもとにマウスクリック・ドラッグ・キーボード入力などの実操作へ自動変換します。プログラムのソースコードやAPIを一切必要とせず、「人間が目で見て操作するすべての画面」を自動化できる点が最大の特徴です。

このプロジェクトが注目される最大の理由は、従来の自動化ツール（RPA、Selenium等）が苦手とする「APIのない古いシステム」「ログイン後の画面」「頻繁にデザインが変わるWebアプリ」でも動作すること、そして完全無料・オープンソースで提供されていることです。2026年7月時点でGitHubスターは37,000超を突破しており、世界中の開発者・研究者から高い支持を集めています。プロジェクトは2つのサブシステムで構成されており、デスクトップGUI操作に特化したUI-TARS Desktopと、CLIおよびWebUIから操作できる開発者向けのAgent TARSが並行して開発されています。

主な機能

• 自然言語によるPC操作（コンピューターオペレーター）

チャット欄に「〇〇を開いてXXと入力して送信して」と書くだけで、AIが画面を認識してマウス・キーボードを自動操作。コードは一切不要です。

• ブラウザオペレーター

Chrome・Edge・Firefoxなどの主要ブラウザを直接制御。Webフォーム記入、サイトのナビゲーション、情報収集など複数ステップの操作を自動実行します。

• リモートコンピューター／リモートブラウザオペレーター

v0.2.0で追加された機能。設定不要でクリックするだけで、別のPCやブラウザをリモート制御できます。どちらも完全無料で提供されています。

• MCP統合（外部ツール連携）

MCP（Model Context Protocol＝AIが外部ツールを呼び出すための共通規格）をカーネルとして採用。ファイル操作・Web検索・コード実行・外部APIなど300以上のMCPツールをエージェントに接続できます。

• UI-TARS-2モデル対応

2025年9月リリースのUI-TARS-2（前世代の1.5からの大幅アップグレード）に対応。GUI操作・ゲーム・コード生成・ツール活用など複合タスクの精度が大きく向上しています。

• AIOエージェントサンドボックス

Agent TARS CLI v0.3.0で導入された隔離実行環境。ツール実行を安全なサンドボックス内に閉じ込め、予期しないPC操作リスクを低減します。

• イベントストリームビューア

エージェントがどの順序で何をしたか、すべての操作をリアルタイムで可視化・記録。デバッグや動作確認に役立つ透明性の高い設計です。

料金プラン

> ポイント： アプリ自体に料金は一切かかりません。操作の裏側で動くAIモデルのAPI利用料のみが発生します。自分のGPU環境でモデルをローカル実行すればAPI費用もゼロにできます。

導入方法

UI-TARS Desktop（デスクトップアプリ）

1. GitHubのReleasesページ（https://github.com/bytedance/UI-TARS-desktop/releases）から、Windows／macOS向けインストーラーをダウンロード
2. インストーラーを実行してアプリを起動
3. 設定画面でVLMプロバイダー・APIキー・モデル名を入力

- 例（VolcEngine Ark使用時）： `` VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS VLM Base URL: https://ark.cn-beijing.volces.com/api/v3 VLM Model Name: doubao-1.5-ui-tars-250328 ``

1. チャット欄に日本語または英語で指示を入力すれば完了

> Homebrewユーザー（macOS）: brew installコマンドでも導入可能（詳細は公式ドキュメント参照）

Agent TARS CLI（コマンドライン版）

Node.js 22以上がインストール済みの場合、インストール不要で即起動できます：

# インストール不要で即実行（npx使用）
npx @agent-tars/cli@latest

# グローバルインストールして使う場合
npm install @agent-tars/cli@latest -g

# モデルプロバイダーを指定して起動
agent-tars --provider volcengine --model doubao-1-5-think

こんな人におすすめ

• 繰り返し作業を自動化したい個人開発者・フリーランス

毎日同じWebサイトにログインしてデータをコピーする、複数のフォームに同じ情報を入力するなど、単純作業の自動化に最適。プログラミング知識がなくても自然言語で指示できます。

• APIが存在しない古いシステムを扱う業務担当者

レガシー社内システム・PDFフォーム・APIなしのWebポータルなど、従来のRPAや自動化スクリプトが使えなかった画面の操作自動化に対応します。

• AIエージェントを学びたい・試したい人

完全無料でオープンソースなため、「AIが画面を見てPCを操作する」という最先端のエージェント技術を手元の環境で試すことができます。MCP連携の実装学習にも最適です。

• プライバシーを重視するユーザー・開発者

ローカルにモデルをセルフホストすることで、スクリーンショットを外部サーバーに送信せず完全にオフライン動作させることが可能です。

よくある質問

Q. プログラミングの知識がなくても使えますか？ A. UI-TARS Desktopのアプリ本体はプログラミング不要で使えます。テキストボックスに「〇〇をやって」と入力するだけでAIがPC操作を代行します。ただし初期設定でAIモデルのAPIキー取得が必要なため、そこだけ公式ドキュメントの手順に沿った操作が求められます。

Q. WindowsとMacどちらで使えますか？ A. 両方対応しています。GitHubのReleasesページからそれぞれの対応インストーラーをダウンロードできます。なお、現時点ではシングルモニター構成を推奨しており、マルチモニター環境では一部タスクが正常に動作しない場合があります。

Q. 操作中にAIが勝手に重要なファイルを削除したり、課金操作をしてしまう心配はありますか？ A. エージェントはマウスとキーボードを実際に操作するため、削除・送信・決済などの不可逆な操作には十分な注意が必要です。UIの「Terminate（停止）」ボタンでいつでも即座に停止できます。公式もこうした操作には人間の確認を推奨しており、重要な操作の前には設定で承認ステップを設けることを強くお勧めします。

Q. どのAIモデルと組み合わせて使えますか？ A. ByteDance製のUI-TARSシリーズ（1.5・2など）をはじめ、VolcEngine ArkのDoubao API、HuggingFaceエンドポイント、ローカルのvLLMサーバーなど複数のバックエンドに対応しています。モデルは設定画面から切り替えが可能で、ベンダーへのロックインはありません。