Mar, 2021

使用隐式表示从单张图像中全面理解三维场景

HTML
PDF
TL;DR本文提出了一种基于单幅图像的全面三维场景理解的新管道，该管道可以预测物体形状、物体姿态和场景布局，利用最新的深度隐式表示方法解决了物体形状和布局的不精确估计的问题，通过物理违规损失函数避免了物体之间的错误场景。实验结果表明，该方法在物体形状、场景布局估计和三维物体检测方面优于现有最先进技术。
发现论文，激发创造
  • 通过详细的3D物体表征实现场景理解

    本文提出了一种基于3D可变形线框的高分辨率车辆对象表示，该表示能精细地建模单个点和面的水平，结合此表示和明确的3D场景模型，我们能够对场景进行更细致和准确的理解并从单个视角评估多个对象的位置与视点的单眼3D姿态估计。

    Nov, 2014

  • DeepContext：用于3D完整场景理解的上下文编码神经路径

    本文提出通过将3D上下文信息嵌入到神经网络拓扑中以实现整体场景理解的方法，为此我们采用了一个神经网络对接收到的深度图像进行对齐并推断其中物体的存在和位置，以及使用部分虚构的深度图像生成数据集，所有实验结果都表明了本算法的有效性。

    Mar, 2016

  • 基于形状概念的深度监督算法用于考虑遮挡的三维物体分割

    本研究中，我们利用深度卷积神经网络架构在2D图像和3D空间中定位语义部件并推断它们的可见性状态，其利用合成数据和模拟的遮挡情况训练网络，并表明了其在现实图像基准测试中具有最先进的性能和有效的迁移知识。

    Dec, 2016

  • 场景表示网络：连续的三维结构感知神经场景表示

    提出了一种连续三维结构感知场景表征模型 Scene Representation Networks (SRNs)，能够通过不需要深度或形状信息的二维图像及其相机姿态进行端到端训练， 并在视角合成、少样本重建、形状外插及表现插值等任务中展示出潜力。

    Jun, 2019

  • 无需三维监督学习推断隐式曲面

    本研究提出了一种基于射线场探测技术的隐式表面的学习方法，以及一种泛函约束方法，用于无需三维监督的三维形状推断。实验表明，在单视角基础上，使用我们的方法从图像中重建三维模型，无论是定量还是定性上都优于现有技术。

    Nov, 2019

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于PointNet和Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集3DSSG来支持该方法的应用和评估。

    Apr, 2020

  • RfD-Net: 基于语义实例重建的点云场景理解

    本研究介绍了Rfd-Net，该方法通过在原始点云数据中直接检测和重构密集对象表面，摆脱了使用常规网格表示场景的限制，旨在预测可识别高对象性的形状，从而实现全局对象定位和局部形状预测，提高了物体检测的精度，比现有技术研究结果提高了11个三维网格交并比。

    Nov, 2020

  • 基于原始图网络的单图像3D物体估计

    采用基于原始体的表示法，提出了一个两阶段图网络进行基于原始体的3D物体估计的方法，并使用丰富的几何和语义约束来提高了3D结构的恢复质量。

    Sep, 2021

  • 学习三维物体的形状和布局，无需三维监督

    本研究提出了一种基于多视图图像的方法，用于识别三维场景的对象形状和布局，通过在大型数据集上的实验，证明该方法可扩展应用于现实图像，并与依赖三维信息的方法相比，表现得更好。

    Jun, 2022

  • 隐式动物园：用于2D图像和3D场景的大规模神经隐式函数数据集

    神经隐式函数在计算机视觉、图形等多个领域具有重要意义，但缺乏全面数据集和大量计算资源限制了其发展和分析。为了解决这些挑战，我们引入了“隐式动物园”：一个需要数千个GPU训练天数的大规模数据集，旨在推动该领域的研究和开发。通过使用Implicit-Zoo，我们展示了两个直接好处：(1)学习变压器模型的令牌位置；(2)直接回归2D图像相对于NeRF模型的3D相机姿势。这进而提高了图像分类、语义分割和3D姿势回归三个任务的性能，为研究开辟了新的途径。

    Jun, 2024