LingBot-Depth 2.0 与 LingBot-Vision 开源：1.5 亿数据训练，深度补全 16 项测评拿下 12 项第一

魔搭ModelScope社区

5人浏览 · 2026-07-08 10:36:07

魔搭ModelScope社区 · 2026-07-08 10:36:07 发布

Robbyant 团队正式发布全新一代空间感知模型 LingBot-Depth 2.0，并同步开源视觉基座模型 LingBot-Vision。LingBot-Depth 2.0 训练数据从 1.0 版本的 300 万扩充至 1.5 亿规模，在深度补全基准的 16 项测评中获得 12 项第一，室内大面积深度缺失场景 RMSE 从 0.132 降至 0.062。LingBot-Vision 是业内首个把"边界结构"作为预训练目标的视觉基础模型，预训练语料仅 1.6 亿张图像，比 DINOv3 小一个数量级。

开源地址：

Model：
https://www.modelscope.cn/collections/Robbyant/LingBot-Vision
Website：
https://technology.robbyant.com/lingbot-vision
Code：
https://github.com/robbyant/lingbot-vision
Tech Report：
https://github.com/robbyant/lingbot-vision/blob/main/paper.pdf

从 300 万到 1.5 亿数据，模型能力全面升级

LingBot-Depth 是一种面向真实场景的深度补全模型，相当于机器人在物理世界的眼睛。在此前的 1.0 版本中，灵波解决了机器人看清透明、反光、密集物体的空间感知难题。而这次的 2.0 版本，在此基础上实现了全面升级。

LingBot-Depth 2.0 的训练数据从 1.0 版本的 300 万扩充至 1.5 亿规模，在深度补全基准的 16 项测评中，获得 12 项第一；面对最难的室内大面积深度缺失场景，深度误差较上一代减半（RMSE 从 0.132 降至 0.062）；在玻璃、镜面、透明物体等传统深度相机最容易失灵的场景中表现尤为突出，能够补全出完整、平整的三维结构。

目前，LingBot-Depth 2.0 已通过奥比中光深度视觉实验室专业认证。实际场景测试显示，基于奥比中光 Gemini 330 系列双目 3D 相机提供的芯片级 3D 原始数据，LingBot-Depth 2.0 在边缘清晰度、物体轮廓完整性、细小物体识别、远距离深度估计及复杂光照、材质场景下的鲁棒性等方面均有明显提升。

LingBot Depth 2.0 通过奥比中光深度视觉实验室专业评测，在多型号传感器的空间和时域深度估计任务上都展现了极高的精度和稳定性

技术支撑：业内首创“边界结构”预训练的 LingBot-Vision

LingBot-Depth 2.0 的突破性进展，除了源于数据量的积累，也得益于 LingBot-Vision 提供的突出视觉表征能力。

作为一款通用视觉基础模型，区别于之前视觉基础模型的建模方式，面向空间原生需要 LingBot-Vision 率先开启几何建模方式，也是业内首个把"边界结构"作为预训练目标的视觉基础模型，实现了空间感知训练范式的突破。它拥有亚像素级的边界定位与空间结构理解能力，实现了更高精度、更稳定的空间感知能力。

LingBot-Vision 的预训练语料仅为 1.6 亿张图像，比 DINOv3 小一个数量级。即便如此，与主流视觉基础模型相比，LingBot-Vision 对物体边界和空间结构的识别更清晰、更稳定，且能在视频中连续追踪物体边界。

与主流视觉基础模型相比，LingBot-Vision对物体边界和空间结构的识别更清晰、更稳定

本次，一并开源了 LingBot-Vision 的 4 个版本——ViT-G/L/B/S。LingBot-Vision 除了支持 LingBot-Depth 2.0 的训练，还具备"一模多用"的通用能力。

携手奥比中光，加速产业落地

在商业化方面，Robbyant 已与奥比中光在诸多方面展开深度合作。奥比中光最新推出的无本体数据采集产品矩阵中，RGB-D 版本的 EGO 设备将适配Robbyant专门为数采场景优化的 LingBot-Depth 版本。后续还将进一步集成更高级别商业版本模型，持续补全深度缺失、优化物体边缘和空间结构细节，为具身智能模型训练提供更精准、更稳定、更可用的真实世界数据底座。

奥比中光将推出集成 LingBot-Depth 最新模型能力的 SDK 产品，供机器人客户在端侧使用，让使用 Gemini 330 系列相机的机器人获得更好的深度效果；并计划于年底推出集成 LingBot-Depth 商业版的一体化相机产品，实现"3D 相机 + 空间感知能力"的一体化交付。

本地部署

LingBot-Vision 已在魔搭社区上线四个版本，均由蚂蚁灵波科技发布，采用 Apache 2.0 协议。运行环境要求 Python ≥ 3.10、PyTorch ≥ 2.0，推荐使用 CUDA GPU 进行大模型推理。

模型下载

# 任选所需规模的 backbone，也可全部下载
modelscope download --model Robbyant/lingbot-vision-vit-large --local_dir ./lingbot-vision-vit-large
modelscope download --model Robbyant/lingbot-vision-vit-giant --local_dir ./lingbot-vision-vit-giant
modelscope download --model Robbyant/lingbot-vision-vit-base  --local_dir ./lingbot-vision-vit-base
modelscope download --model Robbyant/lingbot-vision-vit-small --local_dir ./lingbot-vision-vit-small

环境安装

git clone https://github.com/robbyant/lingbot-vision.git
cd lingbot-vision
conda create -n lingbot-vision python=3.10 -y
conda activate lingbot-vision
python -m pip install -r requirements.txt
python -m pip install -e .

加载预训练主干网络

将 load_pretrained_backbone 的第一个位置参数指向从魔搭下载的本地目录即可。variant 可选 giant、large、base 或 small（默认为 large）：

import torch
from lingbot_vision import (
    load_pretrained_backbone,
    extract_patch_tokens,
    load_image,
)
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32
backbone, embed_dim = load_pretrained_backbone(
    "./lingbot-vision-vit-small",
    variant="small",
    device=device,
    dtype=dtype,
)
img_norm, _, _ = load_image(
    "examples/example.png",
    size=512,
    patch_size=backbone.patch_size,
    mode="square",
)
patch_tokens, patch_grid = extract_patch_tokens(
    backbone, img_norm, device, dtype,
)
print(patch_tokens.shape, patch_grid, embed_dim)
# torch.Size([1, 1024, 384]) (32, 32) 384

patch_tokens 形状为 [B, H*W, C]，H 与 W 为 patch 网格尺寸。

PCA 可视化 Demo

将魔搭下载得到的 model.pt 作为 --ckpt 传入即可运行：

./scripts/run_pca_demo.sh \
  --config-file lingbot_vision/configs/lbot_vision_vitl.yaml \
  --ckpt ./lingbot-vision-vit-large/model.pt \
  --input examples/example.png \
  --out outputs/pca_demo \
  --size 512 \
  --mode square \
  --dtype bf16

Demo 会将 patch token 的前三个 PCA 主成分映射为 RGB，输出 PCA-only 与输入/PCA 对比两张可视化。CPU 推理可将参数改为

Checkpoint 格式说明

魔搭发布的 .pt checkpoint 仅包含 backbone 权重，不含 optimizer state、projection head 或训练时的 boundary head。Loader 同时接受纯 state dict 或 {"backbone": state_dict} 字典结构，若 key 带 backbone. 前缀会被自动剥离。

模型链接：https://www.modelscope.cn/collections/Robbyant/LingBot-Vision