在具身智能迈向真实世界应用的关键阶段，大规模、高质量、多平台兼容的机器人操作数据已成为制约技术突破的核心瓶颈：一方面，双臂操作作为最贴近人类行为的“刚需”形态，正成为行业主流趋势，但受限于高昂的采集成本与复杂的标注难度，相关数据极度稀缺；另一方面，现有数据集普遍存在真实场景覆盖不足、任务单一、过度实验室化等问题，且大多仅适配特定或有限种类的机器人本体与构型，缺乏跨平台、跨本体的通用性。

 

为破解这一难题，北京智源人工智能研究院牵头，联合蚂蚁天玑实验室、银河通用、乐聚、软通天擎、松灵、星海图、智平方、睿尔曼等产业先锋，以及清华大学、北京大学、斯坦福、伯克利、剑桥 等海内外顶尖学术力量，共同打造并发布了RoboCOIN（Bimanual Robotic Data COllection for INtegrated Manipulation） ——全球“本体数最多、标注最精细、使用最便捷”的高质量双臂机器人真机数据集。

📎0bc3dqadgaaafmafverftruvahgdgmoaamya.f10002.mp4

 

🔍 破局三大挑战：格式混乱、质量参差、使用门槛高

当前具身智能数据正面临“标准缺失、质控薄弱、工具分散”三大核心痛点，严重制约行业发展：

• 标准缺失导致“数据孤岛”林立：不同机器人平台的数据格式互不兼容，坐标系定义、量纲单位缺乏统一规范，元信息完整度参差不齐，大量数据无法直接复用，需投入高额成本进行预处理。
• 质控薄弱造成数据质量堪忧：人工遥操作采集的数据常伴随多种问题，既包括丢帧、卡顿、花屏、噪点、静止帧、黑白帧等记录层面的缺陷，也存在数采员动作过快/过慢、操作抖动等行为层面的偏差，直接影响模型训练效果。
• 工具分散严重抬高研发门槛：数据采集、处理、标注、管理等环节的工具链分散独立、不成体系，不仅增加了技术使用难度，还导致研发流程割裂、效率低下，难以实现规模化数据采集的高效产出。

为系统性解决这些问题，智源研究院研发了“面向异构本体、规范操作流程、提高研发效率”的具身数据软件框架CoRobot，实现了“定标准、保质量、提效率”三大目标，并以此作为构建RoboCOIN数据集的技术基座。

🌐 全球最多元化的双臂真机数据集：15平台 × 18万轨迹 × 421任务

RoboCOIN 数据集具备三大核心优势：

✅ 多本体、末端执行器：涵盖 15款异构机器人平台，包括双臂机械臂（如 Agilex Cobot Magic）、半人形（如 Realman RMC-AIDA-L）和全人形机器人（如 Unitree G1edu-u3），涉及夹爪与灵巧手两类末端执行器，本体和末端执行器的形态多样。

 

✅ 真实场景、丰富任务：覆盖 16类现实环境（家庭、办公室、工厂、餐厅、超市等），包含 432种物体（刚性、铰接、可变形）和 36种双臂操作技能，构建了从简单到复杂的渐进式任务体系。

 

✅ 数据规模大、质量高：通过人类遥操作采集超过18万条真实轨迹，每条均配备多视角图像、关节状态、末端位姿，并严格对齐时间戳，统一坐标系和量纲，确保数据物理一致性与语义完整性。

🧠 首创“能力金字塔”：三层结构化标注，赋能多粒度学习

RoboCOIN 首次提出 “层级能力金字塔”（Hierarchical Capability Pyramid），实现从宏观任务理解到微观动作控制的全栈式标注：

• 轨迹层（Trajectory-level）：描述整体场景、物体属性（颜色、材质、形状等），支持全局规划；
• 片段层（Segment-level）：将任务分解为可执行子步骤（如“右手抓篮子”“左手放桃子”），支持时序推理与错误恢复；
• 帧层（Frame-level）：逐帧标注运动状态（速度、加速度、夹爪开合），支撑精准闭环控制。

这种多分辨率标注体系，不仅显著提升了数据的信息密度和教学价值，还使模型能够同时学习“做什么”“怎么做”和“如何做准”，从而增强泛化能力、训练效率与系统可解释性，为通用具身智能的发展提供了关键支撑。

⚙️ CoRobot框架：一站式数据处理与训练基础设施

为支撑 RoboCOIN 的高效构建与广泛应用，团队同步开源具身数据软件框架CoRobot1.0，包含三大核心组件：

1. RTML（Robot Trajectory Markup Language）首创机器人轨迹标记语言，通过 YAML 定义运动约束（速度、加速度、工作空间等），自动评估并过滤低质量轨迹，显著提升数据可靠性。
2. 自动化标注工具链融合视觉语言模型（VLM）与规则引擎，实现场景描述、子任务分割、运动语义标签的半自动标注，大幅降低人工成本。
3. 统一多本体管理平台基于 LeRobot 扩展，支持跨平台控制、原子化存储、按需组合下载，调用数据集使用工具链只需敲入一行代码"pip install robocoin"，真正做到“开箱即用”。

 

📈 实测有效：显著提升主流VLA模型性能

在 Realman 与 Unitree 真机平台上，对 π0、GR00T-N1.5 等先进视觉语言动作（VLA）模型的实验表明：

• 引入 RoboCOIN 的层级标注后，复杂任务（如“将桃子放入抽屉并关闭”）成功率从 20% 提升至 70%；

 

• 使用 RTML 过滤后的高质量数据训练，模型平均成功率提升 23%，验证了“质量优于数量”的数据范式。

 

🤝 开源共建，聚力前行

智源研究院具身数据负责人姚国才介绍：该数据集之所以取名为RoboCOIN，是寓意每一份高质量数据都如同一枚闪闪发光的“金币”，然而一枚金币的面值是微小的，需要大家都往“存钱罐”里投入更多“金币”，若全行业能够齐心协力，就有希望积少成多，换取到一张通向物理AGI的船票。

 

💡 项目已全面开源：

• RoboCOIN数据集主页：https://flagopen.github.io/RoboCOIN/
• CoRobot软件框架主页：https://github.com/FlagOpen/CoRobot

 

以开源生态为基，聚产业创新之力，促具身智能落地。RoboCOIN，让机器人真正学会“双手协作”！

 

点击即可跳转数据集合集

ModelScope 魔搭社区modelscope.cn/organization/RoboCOIN