UI-TARS-desktop 新手上手指南三步配好模型用自然语言操控电脑【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop把鼠标键盘交给模型输入一句打开 VS Code 并开启自动保存UI-TARS-desktop 会自己移动鼠标、点进设置、改完参数后返回结果。这是一个开源的 GUI 自动化桌面应用基于 UI-TARS 视觉语言模型用自然语言操控本机电脑和浏览器。本文带你完成安装、授权、模型配置并跑通第一条指令。它能做什么做不到什么可以稳定完成的任务均出自官方演示与文档用例改应用设置打开 VS Code把 Auto Save 的延迟改为 500 毫秒浏览器查信息打开 GitHub 指定仓库查看最新 open issue 的标题页面导航与表单填写在浏览器中搜索、翻页、填写并提交表单需要鼠标键盘的桌面操作打开应用、新建文件夹、拖动文件能力边界有两点当前仅支持单显示器多显示器环境可能导致任务失败所有执行都依赖你配置好的 VLM视觉语言模型端点模型不可用就无法操作。另外 Windows 版本尚未正式开放。 安装到可运行macOS 安装与授权安装。已装 Homebrew 的用这条命令即可brew install --cask ui-tars没有 Homebrew 就到 release 页面下载 dmg 手动安装。把 UI TARS 拖入 Applications 文件夹在 系统设置 → 隐私与安全性 中授予两项权限辅助功能Accessibility允许控制鼠标键盘屏幕录制Screen Recording允许截图识别界面打开应用出现欢迎页即安装完成。Windows 安装进度官方文档中 Windows 端仍标注 Still to run尚未正式开放。当前请优先使用 macOS 版本发布进度见 快速开始文档。⚙️ 三步配好模型跑通第一条指令第一步部署 UI-TARS-1.5 模型端点在 Hugging Face 的 Endpoint 目录中找到 UI-TARS-1.5-7B 模型点击 Deploy from Hugging Face按页面指引完成部署得到一个可访问的推理端点。中文用户也可以选火山引擎 Ark 上的 Doubao-1.5-UI-TARS流程类似。第二步填写 VLM 配置避开两个坑部署完成后在端点页面找到 Base URL、API Key、Model Name 三项填入设置界面Language: zh VLM Provider: Hugging Face for UI-TARS-1.5 VLM Base URL: https://your-endpoint/v1/ VLM API KEY: your_api_key VLM Model Name: UI-TARS-1.5-7B⚠️ 两个高频坑位Base URL 必须以/v1/结尾少了结尾斜杠会连接失败VLM Provider 要与模型匹配UI-TARS-1.5 就选 Hugging Face for UI-TARS-1.5选错会导致动作解析失败保存后点击 Check Model Availability确认模型可用再往下走。第三步发出第一条指令回到主界面选择 Use Local Computer本地计算机操作输入指令开始任务帮我打开 VS Code在设置中启用 Auto Save并把自动保存延迟设为 500 毫秒执行过程会在界面里实时展示每步截图与动作任务结束给出结果状态。️ 本地模式还是远程浏览器模式对比项本地模式Computer / Browser Operator远程浏览器模式Remote Operator执行位置本机需辅助功能与屏幕录制权限云端浏览器无需本地安装 Chrome数据去向截图与操作全部留在本机任务在服务商云端执行适用场景改本机应用设置、管理本地文件需要干净的浏览器环境、跨设备复现远程服务由火山引擎提供曾有免费试用停服与自建 OS Agent 的替代方案见 快速开始文档。另外注意本地浏览器操作模式要求本机已安装 Chrome、Edge 或 Firefox 之一。指令怎么写对象、动作、完成标准一条可靠指令通常包含三要素缺任何一项都容易跑偏操作对象——正例在 GitHub 上打开 UI-TARS-desktop 仓库反例帮我看看 GitHub没说哪个仓库、哪个页面具体动作——正例在搜索框输入 iPhone 15比较前三个结果的价格反例帮我查查价格查什么、怎么比都不明确完成标准——正例把 Auto Save 延迟改为 500 毫秒后回到主界面反例把 VS Code 设置弄一下模型无法判断何时算完成进阶能力导入预设支持本地 YAML 与远程 URL 两种预设导入时自动校验远程预设每次启动自动同步模板见 examples/presets/default.yaml说明见 预设文档。执行报告每轮任务生成 HTML 报告含逐步截图、动作记录与耗时统计可下载或上传到自建存储。SDK跨平台 GUI 自动化工具包支持 Node.js 与浏览器运行源码在 packages/ui-tars/sdk/桌面、浏览器、安卓操作器在 packages/ui-tars/operators/用法见 SDK 文档。遇到问题怎么办模型连通性检查不通过→ Base URL 未以 /v1/ 结尾或 API Key 填写有误 → 回到端点页面逐项核对三项参数重新保存后再点 Check Model Availability。有输出但动作不执行→ VLM Provider 与所用模型不匹配动作解析失败 → 改选与模型对应的 Provider如 Hugging Face for UI-TARS-1.5。点击无反应或坐标偏移→ 辅助功能或屏幕录制权限未授予或授权后未重启应用 → 到 系统设置 → 隐私与安全性 勾选权限重启 UI-TARS 再试。多显示器下任务失败→ 当前版本仅支持单显示器 → 切换到单显示器环境重新运行。任务中途停止→ 达到 Max Loop 上限默认 100 步→ 把任务拆成更短的步骤或在聊天设置里调大 Max Loop。先按上面的步骤填好模型配置点 Check Model Availability 确认通过然后在本地计算机模式里输入这条指令帮我打开系统设置把显示器亮度调到 50%。跑通这一条后面的浏览器任务与预设导入都可以按同样节奏推进。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考