低成本、高精度、强泛化——通义实验室联合中国人民大学发布全新 GUI Grounding模型 UI-Ins，首次将指令视为动态推理路径，实现 SOTA 性能与涌现推理能力。

01GUI Grounding模型为何“看不懂”用户？

在迈向通用人工智能（AGI）的道路上，图形用户界面（GUI）智能体正成为关键一环。无论是自动操作手机 App、控制桌面软件，还是辅助残障人士使用电脑，GUI 智能体的核心能力之一，就是 “Grounding” ——即根据自然语言指令，在屏幕截图中精准定位目标 UI 元素。

 

然而，现有方法普遍将用户指令视为静态代理（static proxy），忽视了一个关键事实：同一个操作意图，可以用多种方式表达。

 

例如，要“关闭窗口”，人类可能会说：

• 外观视角：“点击红色的 × 按钮”
• 功能视角：“关闭当前文件管理器”
• 空间视角：“点击右上角的按钮”
• 意图视角：“退出这个界面”

 

人类能灵活切换视角，选择最有效的描述方式。但当前模型大多只在单一指令风格上训练，缺乏多视角理解与动态选择能力，导致在面对复杂、模糊或隐式指令时表现不佳。

 

更严重的是，论文作者对主流 GUI Grounding数据集（如 OS-Atlas、Widget Captioning、AMEX）进行了人工审查，发现高达 23.3% 的指令存在错误或歧义（如指向多个 UI 元素、或根本无对应元素），严重污染训练数据。

 

🔍 关键发现：仅通过在推理时切换不同视角的指令，就能在 ScreenSpot-Pro 上实现 76% 的相对性能提升——这说明指令多样性本身就是一种未被充分利用的“免费性能”。

02核心创新

为解决上述问题，UI-Ins 提出了 “指令即推理”（Instruction-as-Reasoning） 新范式：

不再把指令当作被动输入，而是将其视为动态的推理路径（Reasoning Pathway）。模型在执行任务前，会主动“思考”：哪种描述视角最有助于准确定位目标？甚至可以组合多个视角，或生成全新推理角度！

 

1. 高质量多视角数据构建

UI-Ins 团队构建了一套端到端的数据清洗与增强流水线：

• 预处理：检测 UI 元素，通过 IoU 对齐修正原始标注框，过滤错误样本。
• 多视角指令生成：利用多模态大模型，为每个 UI 元素生成四类高质量指令：
  • Appearance（外观）：图标、颜色、文字等视觉特征
  • Functionality（功能）：点击后的行为或目的
  • Location（空间）：相对于其他元素的位置
  • Intent（意图）：用户最终目标
• 指令验证：再次调用多模态大模型，确保每条指令唯一对应目标元素，避免歧义。

该流程将原始数据的错误率从 23.3% 降至 <8%，并显著提升模型在多个基准上的表现。

 

2. 两阶段训练框架：SFT + 强化学习（RL）

UI-Ins 采用 监督微调（SFT） + 强化学习（RL） 的两阶段训练策略：

SFT 阶段：教会模型“多视角思考”

• 每个训练样本包含两种视角：一种作为用户指令，另一种作为模型需生成的“推理过程”。
• 模型输出格式为：
• 目标：让模型学会将任意指令转化为结构化推理路径，再预测坐标。

 

RL 阶段：优化“最优视角选择”

• 使用 Group Relative Policy Optimization (GRPO) 算法。
• 在推理时不指定视角，鼓励模型自主探索最佳推理路径。
• 奖励函数：若预测坐标落在目标 bounding box 内，则奖励为 1，否则为 0。
• 通过 Z-score 归一化奖励，稳定训练过程。

💡 关键突破：该框架有效缓解了 SFT+RL 中常见的 “策略崩溃”（Policy Collapse） 问题——SFT 阶段的多视角训练为 RL 提供了丰富的探索空间，避免模型陷入单一、僵化的输出模式。

03性能表现：全面刷新 SOTA

UI-Ins 在五大主流 GUI Grounding基准上均取得当前最佳（SOTA）成绩：

基准	UI-Ins-32B	提升亮点
UI-I2E-Bench	87.3%	隐式指令理解能力显著增强
MMBench-GUI L2	84.9%	复杂层级指令处理更稳健
ScreenSpot-Pro	57.0%	专业软件高分辨率场景表现优异
ScreenSpot-V2	94.9%	跨平台（Windows/macOS/Android）泛化强
ShowDown	73.8%	低级控制与指令跟随能力突出

📌 特别亮点：在 MMBench-GUI L2 的“Advanced”子集（需推理用户意图）上，UI-Ins-7B 相比 Qwen2.5-VL-7B 提升 159.4%；在 UI-I2E-Bench 的“隐式”子集上，UI-Ins-32B 相比 GTA1 提升 6.6%，证明其在复杂语义理解上的优势。

在线智能体表现：74.1% 任务成功率！

更令人振奋的是，UI-Ins 不仅在静态Grounding任务上表现出色，在真实动态环境中同样可靠。

• 实验设置：在 AndroidWorld 基准中，使用 GPT-5 作为规划器（Planner），UI-Ins-7B 作为执行器（Executor）。
• 结果：任务成功率达 74.1%，超越 Gemini 2.5 Computer Use（69.7%）、UI-TARS-2（73.3%）等闭源模型。
• 意义：证明 UI-Ins 的Grounding能力可直接转化为真实世界智能体的行动可靠性。

04UI-Ins 到底“强”在哪里？

1. 指令多样性 ≠ 自由形式推理（Free-Form Reasoning）

• 实验表明，传统的自由形式推理在 RL 阶段反而会降低性能（UI-Tars-1.5-7B 下降 6.4%）。
• 而 UI-Ins 的结构化多视角推理则显著提升性能（Qwen2.5-VL-7B 提升 9.9%）。

2. 涌现能力：超越预定义视角

UI-Ins 不仅能使用四种预定义视角，还能：

• 组合视角：如“点击右上角（空间）的红色×（外观）按钮来关闭窗口（意图）”。
• 生成新视角：如基于 UI 元素状态（“未激活的按钮”）、组件分组（“在对齐控制组中”）等进行推理。
• 定性分析显示，1477 个样本中出现了 5245 种不同推理方式，远超训练时的 4 种。

3. 消融实验验证各模块必要性

配置	MMBench-GUI L2	UI-I2E-Bench
无 SFT + 无 RL	63.4%	56.0%
仅 RL	72.4%	69.2%
仅 SFT	76.3%	70.1%
SFT + RL（完整）	83.1%	81.1%

移除中间推理步骤会导致 UI-I2E-Bench 性能下降超 10%，证明结构化推理是性能核心。

05开源应用

UI-Ins 基于 Qwen2.5-VL 架构，支持图像+文本多模态输入，推理脚本简洁高效：

from modelscope import AutoProcessor, Qwen2_5_VLForConditionalGeneration

开源资源一览：

模型：

UI-Ins-7B:https://www.modelscope.cn/models/Tongyi-MiA/UI-Ins-7B

UI-Ins-32B:https://www.modelscope.cn/models/Tongyi-MiA/UI-Ins-32B

 

论文：https://arxiv.org/abs/2510.20286

代码仓库：https://github.com/alibaba/UI-Ins

 

包含完整的 SFT/RL 训练代码、数据处理流程、评估脚本，方便研究者复现与二次开发。

 

06从“映射”到“理解”，GUI 智能体的新起点

UI-Ins 的成功证明：理解用户意图比识别像素位置更重要。通过将指令转化为动态推理路径，模型真正学会了“思考”，而非简单映射。

 

未来，UI-Ins 的思想可拓展至：

• 多步骤任务规划
• 跨平台 UI 适配
• 无障碍人机交互
• 低资源设备部署（7B 模型即可胜任）

 

点击即可跳转模型链接

ModelScope 魔搭社区www.modelscope.cn/organization/Tongyi-MiA