通用交互式世界模型开启时空地图新纪元
高德正式发布"通用交互式世界模型"(Universal Interactive World Model)系列研究成果。它要做的事情,用一句话就能说清楚:给一张图、一段话、一段视频——任何一种最简单的输入,它都能为你生成一个可交互的世界,你可以在里面自由行走、四处探索,然后把这个世界分享给任何人。
作为一家深耕地图与导航领域的科技公司,高德始终在思考一个问题:地图的边界在哪里?它可以是此时此刻的城市路网,也可以是百年前的胡同街景;可以是真实世界的某个坐标,也可以是一个从未存在过的奇幻大陆。当高德将"地图"的概念从空间延展到时间、从现实延伸到虚拟,一种全新的时空地图范式应运而生——而通用交互式世界模型,正是构建这张无限地图的核心引擎。
高德地图ABot 系列迎来新的成员:ABot-World Studio,支持图片、文本、视频等多模态输入,贯通"从一个简单输入到一个可分享3D世界"的完整技术链路。用户只需提供任意一种日常素材,即可在本地设备上实时生成并探索一个三维世界,再将其凝固为可永久保存的3D场景,一键分享给任何人。
Demo 体验入口已在官网与 Reactor 多端同步上线;代码与模型参数同步开源至 GitHub、ModelScope、Hugging Face。
- 官方网站:https://abot-world.amap.com
- Reactor:https://reactor.inc/abot-world
- Github:https://github.com/amap-cvlab/ABot-World
- Model:https://modelscope.cn/models/amap_cvlab/ABot-World-0-5B-LF
交互式世界模型走到了哪里,还差什么?
2025年以来,"世界模型"成为全球AI领域投入最密集的前沿方向之一。众多公司和高校团队先后入场,共同验证了一个判断:AI有能力生成可供探索的虚拟世界。然而,从普通用户的视角审视:我能否真正使用它?这些令人振奋的技术突破背后,仍存在几道尚未跨越的鸿沟。
- 难以触及:当前几乎所有方案均依赖云端数据中心级算力,普通用户无法在个人设备上亲身体验。世界模型至今仍停留在展示阶段。
- 无法留存:Genie 3、Happy Oyster、Odyssey等视频世界模型已支持实时交互,用户可以在AI生成的世界中移动视角、探索空间。但交互结束后,世界随之消失。其输出本质上是视频流,无法凝固为三维结构,无法保存,更无法分享。
时长受限:当前世界模型通常只能稳定运行数分钟,随着交互持续,容易出现内容漂移(drift)、场景退化或需要重新设定 Prompt 才能继续探索。如何让同一个世界持续演化数小时甚至更久,并始终保持稳定一致,仍然是开放世界生成的重要挑战。- 规模受限:Marble、HY-World 2.0等3D世界生成方案能够输出真正的三维场景,但覆盖范围以室内和中小规模环境为主。从一个房间延伸到一条街道、再拓展至一座城市,在统一框架下实现仍然具有挑战。
- 输入受限:HY-World 2.0 的采用单图生成和多图重建的分离框架;Marble 虽支持多视图输入,但整体生成质量仍有明显瓶颈。用同一个系统接受文字、单图、多图、视频等任意形式的输入,并针对不同输入给出高质量的世界生成结果,这一目标至今尚未被真正实现。
ABot-World Studio 的设计,正是对上述挑战的系统性回应:
- 消费级显卡,本地实时推理
在单张 RTX 5090 级别的消费级显卡上即可本地运行,无需依赖云端——世界模型首次从实验室走向个人桌面。 - 小时级持续探索,世界长期稳定
基于高德的 LongForcing 训练范式,ABot-World 已验证连续运行 24 小时仍保持稳定生成,未观察到明显 Drift,无需 Prompt Switching 或重启生成过程,让开放世界真正具备持续演化能力。 - 从视频到3D,世界可留存、可分享
实时探索的世界可被凝固为持久化的3D场景,通过一个链接即可分享给任何人,在浏览器中自由浏览。 - 全场景统一覆盖
室内、街景、城市航拍——同一套架构、同一个系统,无需切换。从单个房间到整座城市,是同一引擎的自然延伸。 - 多模态输入,统一框架
文字、单图、多图、视频——任意形式的素材均可作为世界生成的起点。多图或视频输入时,生成结果尽可能贴近原始场景;文字或单图输入时,系统则充分发挥生成能力补全完整世界。同一架构,灵活适配不同输入。
ABot-World Studio:从一个输入到一个可分享的世界
一句话描述 ABot-World Studio 的核心体验:给定一张图片或一句描述,系统在用户本地设备上实时生成一个可自由探索的世界,随后将其凝固为3D场景,通过一个链接即可分享给任何人。
任意素材,皆为世界的入口
一张手机拍摄的街景、一句"雨后的京都小巷"、几张不同角度的照片、一段手持短视频——日常素材即可作为世界生成的起点,无需专业设备,无需任何预处理。
输入形式不同,系统的处理策略也相应不同:多图或视频输入时,系统通过严格的几何流程还原真实场景的空间结构与视觉细节;文字或单图输入时,系统则以生成方式补全完整的三维世界。真实还原与自由创造,在同一产品中无缝衔接。
本地设备,实时交互
世界在数秒内即可在屏幕上展开——并非预渲染的视频回放,而是一个实时响应用户操作的动态环境。按下方向键,画面即刻跟随;转动视角,世界即刻变换。全部运算在单张 RTX 5090 级别的消费级显卡上本地完成,无需云端支持。
用户可以在同一世界中自由切换两种交互模式:以自由视角飞行俯瞰的场景漫游,以及切换为第三人称视角、操控虚拟角色行走奔跑的角色控制——同一世界既可浏览,亦可交互。覆盖场景不受限制:室内空间、街景环境、城市航拍,统一处理。通过与 ABot-Earth 联动,更可从卫星影像直接生成城市尺度的3D世界。
凝固3D,一键分享
探索过的世界并非一次性体验。ABot-World Studio 可将其凝固为持久化的3D场景——支持任意视角自由浏览,不再受限于最初探索的路径。通过一个链接,任何人均可在浏览器中直接打开并漫游其中,无需安装额外软件。
每一个生成的世界还可与地图体系打通,成为时空地图上的一个位置。
四项核心技术支撑
上述产品体验并非功能的简单拼接,而是四项关键技术协同支撑的结果。
消费级实时推理:从"秒级响应"到"帧级响应"
在消费级显卡上实现实时世界生成,首要挑战是计算效率——传统视频生成模型的推理开销与实时交互所要求的响应速度之间,往往存在百倍量级的差距。作为 ABot-World Studio 的实时生成引擎,ABot-World 通过 Causal & Few-step Distillation 与全链路推理压缩,将模型量化、稀疏注意力、层级扩散和轻量解码统一纳入端到端的 Runtime Co-Design,在单张消费级显卡上实现实时生成。这并非对既有视频模型的局部加速,而是从生成范式、模型结构到运行时系统的整体重构,使世界模型首次能够在个人桌面设备上以帧级响应持续运行。
长程稳定演化:从“有限片段”到“持续世界推演”
世界模型的长程挑战不仅是生成时间不够长,更在于随着推演持续,误差会不断累积:一方面可能出现内容漂移、结构退化与动力学失稳;另一方面也可能逐渐陷入当前场景,缺乏持续生成新空间、新事件与新动态的能力。ABot-World 提出 LongForcing 长程训练范式,将长时间尺度上的稳定性与开放性统一纳入模型学习,使模型既能维持长期一致的世界状态,又能在无需切换 Prompt 的情况下持续拓展场景与动态。当前系统已完成连续 24 小时推理验证,未观察到明显 Drift,实现了从分钟级片段生成到超长程世界推演的跨越。
SGP:统一所有输入、覆盖所有场景
如何以同一套架构支持文字、单图、多图、视频等不同输入模态,并统一覆盖室内、街景、航拍等差异显著的场景类型?关键在于一层精心设计的中间表征——SGP(Spatial Generative Primitive,空间生成元语)。SGP 是一个紧凑的结构化表示:(高质量全景图 + 稠密场景几何)。无论输入为何种形态,系统均先将其提升为 SGP;再由全景视频生成器沿规划轨迹对 SGP 进行扩展探索,最终构建完整的 3DGS 世界。
这一"提升"过程针对不同输入采取差异化策略:丰富输入(多视角照片、视频)经由几何管线提取空间结构信息,使生成结果尽可能贴合原始场景;简约输入(文字、单图)则通过生成式补全创造完整世界,降低创作门槛。两种路径共享同一 SGP 表征,不会将差异化输入坍缩为模糊的中间状态。
更为关键的是,每个 SGP 在度量空间中保持自对齐——多个 SGP 可自然拼接,从一个房间延伸至一条街道、一个街区,乃至一座城市。这一组合特性,正是全场景统一覆盖能力的技术根基。
全景扩展:更高效率,更强的复杂场景处理能力
从 SGP 到完整 3D 世界的关键步骤,是沿轨迹生成全景视频序列。相较于普通透视视频每帧仅覆盖有限视角,全景视频单帧即可覆盖 360° 视野,以更少的生成步骤完成对完整空间的覆盖,显著提升空间信息的生成效率。
ABot-World Studio 的底层 3D 世界生成引擎 ABot-3DWorld 采用一套 14B 参数规模的全景视频生成模型,结合点图引导(Point-Map Guided)、环形无缝拼接与三维强化学习(3DRL),提升全景序列的几何一致性。在大范围室外街景、多层建筑内部、高低错落的城市天际线等复杂场景中,这种全景扩展方式相比逐帧透视生成,能够获得更好的空间连贯性与结构稳定性。最终,扩展后的全景序列经过 3D 强化学习质检与扩散修复,进一步构建为高质量的 3DGS 世界。
时空地图:当世界模型遇上地图基因
作为一家地图导航公司,高德对"空间"的理解深入骨髓。通用交互式世界模型的发布,不仅是一项AI技术突破,更代表着高德对"地图"这一核心概念的重新诠释。
传统地图是一种记录——记录此时此刻、真实世界中道路与建筑的空间关系。但如果高德将"地图"的边界打开呢?
- 向时间维度延伸
一张1990年的老照片,可以通过世界模型"复活"为一个可行走的三维空间。城市的变迁不再止于文字记载或平面影像,而是可以身临其境、自由漫步的时空体验。走进三十年前的老城区,看一看那时的街道、那时的店铺、那时的生活气息。 - 贯通现实与虚拟
无论输入的是真实街景,还是一幅完全虚构的概念画、一张游戏截图、一幅建筑设计草图,世界模型都能将其拓展为可交互的三维空间。在这一技术框架下,现实地图与虚拟地图不再有本质区别——它们共享同一套生成与交互范式。 - 从导航到探索
传统地图告诉你"从A到B怎么走",时空地图则邀请你"在任意时空中自由探索"。它不再只是出行工具,而是一种全新的空间体验——探索已经消失的历史街区,漫游尚未建成的未来城市,飞行于只存在于想象中的奇幻世界。 - 从个人到社交
时空地图中的每一个世界,都可以一键分享给亲友。用一张外婆年轻时的老照片生成一个可行走的三维世界,分享给全家人,一起在这个"时光空间"中重温记忆——这是地图从未拥有过的温度。
高德
将这一愿景称为"时空地图"——跨越时间、贯通虚实、连接众人的无限空间。通用交互式世界模型,就是绘制这张地图的画笔。
体验展示:探索你的世界
在产品层面,高德围绕"生成世界"设计了三种全新的内容消费方式:
- 实时世界探索
用户通过键盘与鼠标控制角色移动和视角变化,ABot-World 根据每一步操作实时推演世界的下一状态,持续生成后续画面与场景变化。这里不存在预先录制的固定路线,也不是被动的视频或三维模型的播放,用户的每次行动都会直接参与世界演化,探索路径与所见内容均在交互过程中实时产生,并可进一步凝固为可永久保存的 3D 世界,并继续浏览、编辑与分享,实现“探索即生成,生成即可留存”。 - 时空穿梭门
在场景中设置语义化的"传送入口",穿越即可进入另一个世界——从普吉岛海滩一步跨入挪威极光雪原,从今日赤壁穿越至"赤壁之战"的历史现场。不同世界通过"门"彼此相连,形成一张可持续探索的世界网络。用户并非在"使用一个工具",而是在"漫游一个宇宙"。 - 空间短视频
以地图兴趣点(POI)为索引,构建无限滚动的空间信息流——城市地标、影视取景地、历史遗迹、奇幻世界,分类呈现。用户如同浏览短视频一般被不断吸引进入下一个AI生成的三维世界——区别在于,这一次不是在观看一块屏幕,而是"走进"每一条内容。这是一种前所未有的空间维度内容消费体验。
未来愿景
通用交互式世界模型真正要做的,是把高成本、重资产、高门槛的三维内容生产,变成一种每个人都能触及的日常能力。它的意义不止于"做出更多3D场景"——它在为整个空间智能产业链提供一种全新的底层供给:
- 对智慧城市与数字孪生:快速生成可定制的三维底座,大幅缩短项目周期,填补全球无测绘资料地区的三维空白。
- 对自动驾驶与具身智能:提供海量、多样化、与真实坐标对齐的仿真训练环境,弥补真实采集数据永远不够用的困境。
- 对内容创作与文旅产业:让真实地点变成可叙事、可演绎的素材——景区四季的变迁、城市未来的面貌、创作者脑海中的故事空间,都能被"生成"出来。
- 对每一位普通人:让一句话、一张图、一段记忆,都能成为通往一个完整世界的入口。
接下来,高德会沿着三个方向继续走:更大的世界——从街区走向城市乃至地球尺度,让ABot-Earth与ABot-3DWorld深度融合;更活的世界——引入动态物体、天气变化、昼夜交替,让生成的世界有呼吸、有时间;更多人的世界——打通社交与协作,让时空地图成为人们分享记忆、协同创作、共同探索的空间平台。
高德相信,当每一句话、每一张图都可以成为一个世界的入口,人和空间的关系将被彻底重新定义。
模型链接
https://modelscope.cn/models/amap_cvlab/ABot-World-0-5B-LF
魔搭社区1013 搭子 · 1550 讨论 圈子
更多推荐




所有评论(0)