小米开源 Xiaomi-Robotics-U0：让具身数据进入大规模生成时代

魔搭ModelScope社区

37人浏览 · 2026-07-16 09:49:36

魔搭ModelScope社区 · 2026-07-16 09:49:36 发布

小米正式发布 Xiaomi-Robotics-U0——一个拥有 380 亿参数的多模态自回归具身生成基础模型，是具身领域首个“通吃”四类任务的统一生成模型，打通了机器人图片和视频数据的生成与编辑链路。

它既能在保持几何一致性的前提下，对已有数据做增强——换物体、换光照、换背景、加干扰，无需重新采集；也能从零生成全新场景，覆盖危险、极端、长尾等真机难以触达的环境。此外，通过 FlashAR+ 推理加速方案，它的生成效率较原始自回归范式提升近 83 倍，大幅加快工程落地速度。规模化生成具身训练数据用于增益模型效果，从此有了可控且高效的解决方案。

在 WorldArena 评测基准上，Xiaomi-Robotics-U0 取得总分第一名（全球 126 个模型参评）。此外，真机评测中，在未知光照、陌生背景等 Out of Distribution 场景下，使用 Xiaomi-Robotics-U0 扩增数据训练的策略任务完成进度平均提升超 26%。

相关代码与模型权重已全量开源

项目地址：https://robotics.xiaomi.com/xiaomi-robotics-u0.html

模型链接：https://modelscope.cn/models/XiaomiRobotics/Xiaomi-Robotics-U0

📎0bc3l4anmaaafuack32wifvfax6d2zpqbvqa.f10002.mp4

一个通用模型，覆盖四类生成任务

过去，具身生成往往是“一个任务一个模型”：场景生成用一个模型，轨迹迁移用一个模型，视频生成又是另一个模型。模型之间相互割裂，导致具身生成很难规模化应用。

Xiaomi-Robotics-U0 选择了另一条路：用统一的多模态自回归框架，覆盖四类核心任务。

具身场景生成（Scene Generation）—— 模型可以根据文本描述，为指定机器人本体生成多视角初始场景。无论是桌面、厨房、仓库，还是更复杂的开放世界环境，都可以通过语言描述生成对应的机器人观测。

具身迁移（Embodied Transfer）—— 模型可以将已有机器人轨迹迁移到新的环境中，例如改变光照、背景、桌面材质、目标物体或工作区风格，同时保留原始轨迹中的机械臂位姿和场景布局。

机器人交互视频生成（Video Generation）—— 基于初始观测和操作指令生成后续视频，能够兼顾动作连贯性和物理一致性，且可零样本泛化到任意场景。

通用文生图和图像编辑（Text2Image & Anything2Image）—— 模型同时保留通用图像生成与编辑能力，使互联网视觉知识能够迁移到具身智能任务中。

结构化可控：五维解耦，精准把控每一帧

和通用图像生成不同的是，具身生成需要精确控制每一个细节——多视角一致性、场景布局和物体位置等。在机器人场景中，高质量训练数据的核心不只是清晰度与真实感，更在于与真实世界采集的轨迹严格对齐：同一个物体在不同相机视角下的位置必须几何一致；机械臂的姿态不能因为背景替换而发生错位；原始轨迹中的动作信息必须能够与迁移后的观测持续匹配。

为此，小米科技设计了五维解耦结构化控制范式，让生成过程中的每个维度都可以通过自然语言的方式独立调控：

五维度结构化场景描述

工作台布局—— 工作区颜色、结构、空间摆放

前景操作物体—— 任务目标物的种类与姿态

前景无关杂物—— 其他工作区上的非目标物体的种类与姿态

光照条件—— 强光、窗外洒落的阳光、彩色灯光

背景信息—— 室内室外背景物体的布局和样式、远景观测

五维解耦结构化控制让 Xiaomi-Robotics-U0 能够实现跨机器人机型的多视图几何一致性生成。前景、背景、光照的修改只需要语言描述，同时保留图片的真实性和多视角一致性。通过这种五维解耦的结构化可控的描述，Xiaomi-Robotics-U0在具身迁移和具身场景生成两大具身生成任务上，实现了各种开放词表、开放世界的多视角一致生成：

（1）具身迁移

Xiaomi-Robotics-U0 通过五维解耦的结构化控制，将具身轨迹迁移到了各种场景和光照中，并极大丰富了各类道具和工作区的样式。

具身迁移示意图。左侧为原始的多视角观测，右侧为修改了光照、工作区、物体描述等条件后，模型生成的多视角观测

（2）多本体具身场景生成

在多本体的具身场景生成中，通过五维解耦的结构化控制，Xiaomi-Robotics-U0将生成的多样化场景与本体的一致性打通，当前支持方舟无限、智元G1、智元G2、松灵PiPER 四种本体，搭配任意的场景描述即可生成各种开放世界的场景，河中、海底、山谷、赛博城市，Xiaomi-Robotics-U0 带你穿梭瞬息全宇宙。

具身场景生成示意图，每行左/中/右三帧图片为一组，分别为左腕部、中间头部和右腕部相机视角

实战验证：全面对比主流模型

真机验证：OOD场景被测策略完成进度提升超26%

小米科技在精细操作（耳机收纳）、可变形物体（毛巾折叠）、长程任务（物品装箱）中验证Xiaomi-Robotics-U0具身迁移对机器人任务的有效性。
📎0b2esyabyaaaeyadvrcxrnvfbfwddslaahaa.f10002.mp4

在未知光照、陌生背景等干扰场景下，使用 Xiaomi-Robotics-U0 扩增数据训练的策略任务完成进度平均提升 26.3%，VLA 在每项任务迁移到 OOD 时性能的下降都明显更少。面对反光、彩色灯光等极端视觉干扰，模型仍不会卡死且能够进行自校正。

真机任务成功率对比

Xiaomi-Robotics-U0 通过Transfer能力实现了首个能在复杂光照和强背景干扰下保留大部分成功率的VLA模型，说明其Transfer能力不仅能提升视觉多样性，也能直接转化为机器人策略的实际泛化能力。

具身迁移：生成可控性超越闭源模型 GPT-Image-2.0

在 300 样本难易双分测试集上，Xiaomi-Robotics-U0 在深度一致性、结构保真、语义对齐维度指标大幅超越 GPT-Image-2.0。核心差距在于：Xiaomi-Robotics-U0 的多视图几何完全统一，而 GPT-Image-2.0 专注在文本信息上，普遍出现跨视图物体错位、空间畸变问题。

场景生成和具身迁移总体效果对比图：

在人工搭建的具身场景生成（分为 Easy 和 Hard，各 200 个）和具身迁移（分为 Easy 和Hard，各150个）这两个benchmark中，Xiaomi-Robotics-U0 在人类评测中均取得了明显的领先。

具身迁移效果对比：下图灰色框中 GPT-Image-2.0 生成的结果虽然物体、工作区等场景信息符合文本描述，但未保留原始多视角的机械臂位姿和场景布局信息，导致迁移后的多视角观测无法对应到原始轨迹中的动作信息。

Xiaomi-Robotics-U0 生成的结果同时做到了保留多视角场景布局和根据描述进行修改，因此可被用于下游数据增广。

具身迁移效果对比：GPT-Image-2.0 vs Xiaomi-Robotics-U0

视频生成：WorldArena 榜单第一名

Xiaomi-Robotics-U0 在由清华大学、北京大学等联合打造的WorldArena 评测基准上取得总分全模型第一名，在指令遵循（Instruction Following）、交互质量（Interaction Quality）和视角一致性（Perspectivity）上均为全模型第一名。它可以生成连贯的抓取、放置、形变交互长时序视频，还支持虚拟相机运动仿真——这对于机器人策略的离线验证和场景预演，具有广泛的实用价值。

WorldArena 榜单，UNIS 为 Xiaomi-Robotics-U0 匿名评测代号（榜单时间2026年7月15日），

在全球共126个模型中位列第一

📎0b2en4acsaaaliadtukxmnvfa36dffxqakia.f10002.mp4

此外，Xiaomi-Robotics-U0 的视频生成能力展现出较强泛化性：面对完全 OOD 的初始帧与指令，仍能准确遵循指令生成视频，并较好保持物体材质与动力学、背景一致性等关键要素。与此同时，背景人物并非静态贴图，而是在室内自然走动，说明模型在保留世界模型所蕴含的世界知识与常识基础上，进一步注入了机械臂动力学与物体交互模式，初步形成了面向开放世界的具身序列生成引擎。
📎0bc3nuabsaaagaaas5sxubvfa3oddfwqagia.f10002.mp4

极致推理加速：生成效率提升82.9倍

Xiaomi-Robotics-U0 基于多模态 AutoRegressive （AR）架构，采用 IBQ 作为图像 tokenizer，将多种模态表示在同一空间，使用标准多模态 Next Token Prediction 方式进行持续训练。

普通 AutoRegressive 模型传统逐 token 生成方式能利用丰富的前驱信息来逐步生成并完善图片。但面对高分辨率图片生成任务时，这种逐 token 生成速率受到图片尺寸影响，效率大幅降低。

AR（自回归）和 FlashAR+ 的对比结果：

FlashAR+ 在保持了生成质量的同时，大幅度优化了推理效率

Xiaomi-Robotics-U0 提出 FlashAR+ 高速推理加速方案，在 FlashAR 文生图适配的基础上进行扩展，适配了图像编辑、具身迁移等任务，并结合 vLLM 进一步提升效率，生成效率较原始AR范式提升 82.9 倍，原生适配图片Anything to Image 多参考图编辑场景，对角并行解码 + vLLM 分页 KV 缓存批量调度，1024*1024 分辨率的单样本吞吐量从 450.77 秒/图提升至 5.44 秒/图，兼顾高质量与工程落地速度。