一张参考照片、一段动作视频或一份设计规格，能否让 AI 在 Blender 中交付可编辑的 3D 项目？Alibaba Token Hub 联合浙江大学、香港中文大学、复旦大学和新加坡国立大学的研究者提出 BlenderWorld，以 223 项真实场景任务评测视觉 Agent 的 3D 重建、修改与设计能力。

基准通过多视角渲染、原生工程检查和 2,651 条验收标准，同时衡量需求完成度与视觉质量。论文评测的 13 个系统中，最高综合分为 79.9，但排名第一的系统仅在 42.2% 的任务上通过全部验收条目，显示出从“生成效果图”到“可靠交付 3D 工程”的差距。

开源地址：

• ModelScope 数据集：
  https://modelscope.cn/datasets/Qwen/BlenderWorld
• GitHub：
  https://github.com/QwenLM/BlenderWorld
• 项目主页与视频展示：
  https://blenderworld.github.io/#showcase

 

从参考素材到可编辑工程，任务怎样设计

BlenderWorld 把评测对象放在完整的创作流程上。Agent 需要读取需求和参考素材，构建几何体，设置材质、灯光、相机或动画，再交付 .blend 工程以及任务要求的图片、视频和辅助文件。没有提交 .blend 文件的结果直接记零分；单独交付一张好看的渲染图，无法满足这套评测的要求。

 

任务覆盖 9 个大类、22 个子类和 16 种应用场景，既包含建筑与室内、产品与制造、车辆与机械，也涉及角色与动物、自然环境、动画、仿真和科学可视化。应用目标包括装修方案、产品展示、游戏资产、教学演示和分镜预演，考查不同尺度、不同用途的 3D 内容制作。

 

BlenderWorld 任务分类与示例

 

三种参考使用方式

重建任务要求保留主要形状和空间关系；修改任务要求改变指定部分，同时保留约定结构；参考式设计允许借用素材中的形式、风格或布局，发展新的方案。这一设计为创作保留自由度，也明确了哪些要求必须被保留。

 

视觉线索与显式规格共同约束

130 项任务提供图片，15 项提供视频，另有 78 项没有图片或视频参考。其中 59 项附带 Markdown、YAML 或 JSON 规格文件，补充尺寸、材质、相机设置等条件。

 

数据集统计 图中展示规模最大的 11 种应用场景

 

验收条目先审查、再冻结

研究者先根据应用场景和参考素材，借助多模态模型生成并改写任务需求，再检查附件是否可读、图文是否一致、任务是否可行。随后，从需求、参考和附件中提取验收条件，经过试评测和至少两个独立评审模型的交叉检查，修正缺漏与歧义后，才正式冻结。每项任务包含 6—22 条二元标准，平均 11.9 条；主要、次要、细节条件分别按 3、2、1 赋权。由于生成阶段的 Agent 看不到这些验收条目，评分规则被针对性取巧的空间也随之减少。

 

看多个角度，也检查相机看不到的结构

3D 创作的困难在于：一张图只能展示某个视角，内部结构、精确尺寸、动画配置和工程可编辑性常常无法据此判断。BlenderWorld 因此采用“先收集证据，再按证据类型分配评审”的流程。

 

评测流程。独立评测环境读取提交工程，补充视图，再分别检查验收条目与视觉质量

 

自动选择 8 个视角

Automatic Agent Render 会根据任务和验收条件，为工程挑选 8 个互补视角，并用 Cycles 以 1024 × 1024 分辨率、64 samples 渲染。评测 Agent 可以调整相机、构图和渲染设置，但不能修复提交作品中的几何、材质、灯光或动画，也不能改动色彩管理。原始导出媒体会一并保留；如果提交了视频，还会补充有序采样帧，作为运动证据。若视觉证据出现冲突，以原始导出媒体为准。若无法生成新的渲染视图，则评测直接失败。

 

双轨评审

VLM-as-Judge 根据图像和视频判断外观、空间布局与运动；Agent-as-Judge 则通过工具检查 .blend 工程和交付文件中的原生结构与属性，必要时再参考视觉证据。最终 1,107 条标准走渲染证据路径，1,544 条走工程检查路径，分别占 41.8% 和 58.2%。工程检查能够核对精确尺寸、内部结构、配置和交付属性，补足渲染图的盲区。

 

综合分同时保留完成度和观感

Rubric 是按重要性加权的验收通过分；Dimension 则对 8 个维度分别打 1—10 分，再换算成百分制，包括场景还原度、物理合理性、风格与颜色、真实感、空间布局、比例与尺度、灯光与材质、完整性。两者加权融合：

综合分 = 0.5 × Rubric + 0.5 × Dimension

BlenderWorld 另外报告 Perfect 分数，即通过全部验收条目的任务比例。综合分用于比较整体表现，Perfect 更接近“能否完整验收”的问题。

13 个 Agent 实测

 

Text 为 78 项无图像／视频参考任务，MM 为 145 项多模态参考任务

 

GPT-6-Astra 在两个评分分项上均领先，但仍有超过一半的任务无法完美完整，说明高需求覆盖率与完整交付之间仍有明显距离。

 

更多工具调用，没有自动换来更好作品

GPT-5.6-Sol 与 DeepSeek-V4.1-Flash 的 MM 分数均为 65.5，但前者每项任务平均使用 39.9K 输出 tokens、44.0 次工具调用，后者为 209K、168 次。调用频次提供了观察与修改机会，能否识别缺陷、选择正确的修复动作，仍取决于 Agent 的实际能力。

 

效果实景展示

GPT-6-Astra 展现出了出色的综合 3D 建模能力，领先于评测的开源模型和其他闭源模型。

雪山缆车：保留空间布局，重新设计光照。 “Across the alpine valley” 提供雪山与缆车照片，要求保留雪峰、谷底冰湖、针叶林、缆线与红色车厢的关系，同时将正午光照改成暖色日落和长阴影。

 

水族箱：从视频中还原运动与景深。 “Life behind the glass” 要求重建橙色金鱼、蓝色水下灯光、水草、沉木和气泡，并保留可调整的鱼体姿态与尾部驱动游动。

 

拉力车：把高速接近与尘土放进同一段运动。 “Through a cloud of dust” 以视频为参考，要求白色拉力车沿乡间土路驶向低位相机，同时保持道路、绿植、蓝天和拖尾尘土，匹配参考中的节奏与构图。

 

 

失败案例：视角成立，结构未必成立

论文通过作品和执行轨迹展示了几类典型问题：动态任务中缺少应有的运动交互；换视角后主体消失；动物眼睛和爪部变形；人物身体没有贴合地面。这些缺陷很难用单张主视角图完整发现。

 

典型失败案例。从左到右为缺少轨迹交互、侧视角人物消失、狮子幼崽解剖细节异常、人物悬浮

侧视角消失的人物。 在大豆田场景中，Agent 从参考照片裁出两个人，分别贴到单个平面上，并添加影子替代物。这样能够重现提交相机的画面，却没有构建人物体积；从侧面观察时，两个人随之消失。问题落在几何表示上，继续润色贴图无法补出缺失的 3D 结构。

 

通过自检，却验收错了对象。 另一个任务要求木腿长 150 mm，并配黄铜脚轮。Agent 将要求改写为“包含脚轮的总高 150 mm”，实际制作了 102 mm 木腿与 48 mm 脚轮，并用自检脚本确认总高正确。独立工程评测测量木腿本身，发现它比要求短 32%。检查程序可以运行成功，但检查目标一旦偏离原始规格，结论就失去意义。

 

从执行轨迹定位缺陷。人物贴片缺少体积、投影对齐检查遗漏地面接触、尺寸自检混淆木腿长度与整体高度。右侧尺寸条为论文示意图

 

对开发者而言，这些案例给出直接的工程启示：视觉自检应覆盖不同视角和关键帧；尺寸、接触关系、骨架和交付格式应有独立检查；校验条件需要追溯到原始需求，避免被 Agent 自己改写的计划替代。

 

在魔搭获取 Benchmark，接入自己的 3D Agent

BlenderWorld 已在魔搭社区开源，可以使用 CLI 或者 SDK 下载：

pip install -U modelscope

 

from modelscope import dataset_snapshot_download

local_dir = dataset_snapshot_download(
    dataset_id="Qwen/BlenderWorld",
    local_dir="./BlenderWorld-data",
)

BlenderWorld 将视觉效果、结构正确性和交付完整性放进同一套评价流程，为 3D Agent 提供了更接近实际制作需求的测试场。多视角、原生工程证据和失败轨迹，既能比较系统，也能帮助定位哪些环节需要改进。让 Agent 正确识别问题，并依据原始需求完成修复，是提高 3D 交付可靠性的关键。