可扩展的三维对象为中心学习的变异推断
本研究使用神经辐射场(NeRF)从输入图像集合中学习高质量的三维物体类别模型,通过2组件NeRF模型,FiG-NeRF,实现场景的几何恒定背景和可变形前景的分离,从而仅使用光度监督和随意捕捉的物体图像即可学习准确的三维物体类别模型,并且可以进行精确清晰的无模分割和视图合成,并使用综合测量方法对方法进行定量评估。
Apr, 2021
该研究提供了一种名为CO3D的大规模数据集,其中包含了50种MS-COCO类别的近19,000个视频,共计1.5百万帧真实的多视角图像,带有相机姿态和地面真实3D点云的注释,并利用该数据集进行了新视角综合和类别为中心的3D重建方法的大规模“野外”评估,并提出了一种基于Transformer的新型神经渲染方法NerFormer,可根据物体的少数视角重建整个物体。
Sep, 2021
AutoRF是一种学习神经3D物体表示的新方法,它通过单个视角观察训练集中的每个对象,提出了一种标准化的、以对象为中心的表示方法,该方法描述并区分了形状、外观和姿态,并在单个输出中解码为新的目标视图,从而实现了新颖的视图合成,进一步通过优化形状和外观的编码,在测试时将表示紧密拟合到输入图像,实验表明该方法能够很好地适应不同数据集和挑战性现实场景下的未见过的对象。
Apr, 2022
ObPose是一个无监督的对象中心推理生成模型,可以从RGB-D场景中学习三维结构的潜在表示,并通过将对象位置和外观分开编码来获得卓越的性能。
Jun, 2022
通过将自编码器与NeRF相结合,我们提出了一种潜空间NeRF,可以在渲染速度提高三倍的同时减少视觉伪影,从而产生更高质量的新视图,可用于实现高效且高保真的3D场景表示,特别适用于需要保持可微性的机器人学场景。
Oct, 2023
我们研究了从单一图像中推断3D物体中心场景表示的方法,并通过分开建模内外在属性来改善现有的无监督学习方法的局限性,使其能够从稀疏的现实世界图像中无监督地学习高保真的物体中心场景表示。
Feb, 2024
本研究针对动态物体建模中的挑战,提出了一种新颖的方法LEIA,利用不同时间状态下的观察条件化超网络,从而为每个状态学习视图不变的潜在表示。实验结果表明,该方法能够高效生成新颖的3D关节配置,且不受视角和关节配置的影响,显著优于依赖运动信息的先前方法。
Sep, 2024
本研究解决了传统对象级映射中因部分遮挡和传感器噪声导致的形状不完整和姿态估计不准确的问题。提出的GOM系统利用3D扩散模型作为多类别支持的形状先验,能够同时输出纹理和几何信息,显著提升了从稀疏视图进行多类别映射的性能,实现了比现有最先进方法更精确的映射结果。
Oct, 2024