从单个 RGB 图像进行全面的 3D 场景分析和重建
该研究提出一种新的 3D 全局场景理解问题,旨在同时解决物体检测和重建、人体姿态估计,并利用人物 - 物体交互和物理常识优化场景的表现,最后使用马尔可夫蒙特卡罗方法,显著提高了算法的性能。
Sep, 2019
通过使用隐式的场景元素特征表征来区分合理和不合理的人体和物体对齐,在机器人感知中提出了一个以图形为基础的整体三维人体场景重建的方法,该学习方法实现了与现有基于优化的方法相当的三维重建质量,且不需要推理时间优化,适用于机器人导航等潜在应用中。
Jul, 2023
本文提出了一种端到端模型,可以仅依靠单个 RGB 图像实时同时解决 3D 室内场景理解中的物体边界框、房间布局和相机姿势问题,并通过对目标进行参数化和协同训练等手段,显著提升了 3D 物体检测、3D 布局估计、3D 相机姿势估计和整体场景理解的精度。
Oct, 2018
采用基于学习的方法生成大规模的合成三维场景和任意数量的真实感二维图像,用于训练、基准测试和诊断学习基础的计算机视觉和机器人算法。
Apr, 2017
基于 RGB 图像的城市场景的整体理解是一个具有挑战性但重要的问题,本文提出了一种利用三维高斯点云分布的新型管道,通过联合优化几何、外观、语义和动作,实现对城市场景的整体理解,并在实验证明了我们方法的有效性。
Mar, 2024
本文提出了一种基于单幅图像的全面三维场景理解的新管道,该管道可以预测物体形状、物体姿态和场景布局,利用最新的深度隐式表示方法解决了物体形状和布局的不精确估计的问题,通过物理违规损失函数避免了物体之间的错误场景。实验结果表明,该方法在物体形状、场景布局估计和三维物体检测方面优于现有最先进技术。
Mar, 2021
本文提出了一种以人为中心的方法来采样和合成三维房间布局和其二维图像,以获得带有完美每个像素地面真相的大规模二 / 三维图像数据。通过分布学习和采用蒙特卡罗马尔可夫链,可以采样出各种真实的房间布局,并使用视觉真实性、基于地面真实性的可负担性图的准确性以及人类主题评估的合成房间的功能性和自然性。
Aug, 2018
本文提出了一种基于场景图的三维场景理解方法,它将场景中的实体组织成图形式,运用基于 PointNet 和 Graph Convolutional Networks(GCN)的学习方法实现了场景图的回归,并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。
Apr, 2020
本文提出了一种端到端可训练模型,以单个 RGB 图像感知 3D 场景,估计相机姿态和室内布局,并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失,我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知,这是第一个在网格级别输出对象和人体预测,并对场景和人体姿态进行联合优化的模型。
Dec, 2020
通过引入分层图人体高斯控制(HUGS)框架,基于 3D 高斯喷洒(3DGS)的方法在人体重建方面取得了进展,通过利用身体部位的语义先验来确保几何拓扑的一致性,从而捕捉身体部位之间的复杂几何和拓扑关联,特别擅长增强表面细节和准确重建身体部位连接点。
May, 2024