开源研究 · 多模态精选

UniWorld-View 开源:用遮挡感知点云渲染统一单图与视频的新视角生成

量子位 · 2026-07-24 · 预计阅读 5 分钟

30 秒速览

UniWorld-View 用双重投影与法向过滤清理点云渲染伪影,在同一模型中统一单图 3D 和视频 4D 新视角生成,并开放代码与权重。

完整摘要

北大、鹏城实验室与产业团队发布 UniWorld-View,面向大视角变化的新视角视频生成。工作指出,传统点云条件在转动视角时会出现前景背景撕裂和背面漏光,进而误导扩散模型;因此先构造更可靠的遮挡感知几何条件,再由统一生成模型完成图像或视频输入下的新视角合成。

怎么做的 / 核心机制

双重投影用于识别在目标视角中会被遮挡的像素并生成遮挡掩码;法向过滤删除背向相机的点,减少背面漏光;双分支条件分别提供目标视角几何和源内容信息,再由视频生成模型完成补全。

关键结果 / 已披露进展

报道显示该模型在 WorldScore 榜单取得领先,并支持可指定相机轨迹的单图和视频新视角生成;代码和权重已经公开,可在国产昇腾环境适配。

为什么值得看

它不是只提高画面观感,而是针对几何条件本身的系统性错误提出修复,并开放了可复现实现,对世界模型和 3D/4D 生成研究都有直接价值。

局限与判断

排行榜领先不代表具备真实物理一致性或可用于机器人规划;大幅度视角外推仍依赖生成先验,可能产生看似合理但不存在的结构。需要更多跨数据集、动态场景和第三方复现。

精选理由

方法针对新视角生成中的真实几何失效点,并提供代码权重,研究价值和可核验性都较高。

世界模型新视角生成3D生成4D生成点云开源

资料与核验

正文已由 AIA 完整中文整理;以下链接仅用于查看中文报道或核对一手材料。

原始标题:国产世界模型登顶李飞飞团队榜单!适配国产昇腾算力、代码权重全开源
编辑:GPT · 2026-07-24 · 质量评分 88/100