Apr, 2016

Marr Revisited: 2D-3D 对齐通过表面法线预测

PDF
TL;DR利用表面法线预测和外观线索从大型 CAD 库中检索 2D 静态图像中所描述的物体的 3D 模型，该模型基于预训练 Oxford VGG 卷积神经网络（CNN），实现了关于表面法线预测的 NYUv2 RGB-D 数据集的最新准确性，并在姿态和风格的联合学习中实现了所述的 3D 模型检索操作。
3d modelssurface normalscad object libraryconvolutional neural networkpose prediction
发现论文，激发创造
  • 为表面法线估计设计深度网络

    本文使用卷积神经网络进行单张图像表面法线的预测，并通过加入人工约束和中间表征优化网络结构，得到了表现最优的结果。

    Nov, 2014

  • 利用本地表面嵌入技术在彩色图像中实现未知物体的三维目标检测和姿态估计

    该研究提出了一种结合了深度学习和三维几何的方法，利用未带纹理的 CAD 模型和不需要针对新对象进行训练的方法，检测和估计图像中物体的 3D 姿态，并利用 Mask-RCNN 实现无需重新训练的对象检测，从而限制可能的对应关系数量。实验结果表明，该方法与之前的方法相当或更好。

    Oct, 2020

  • 自监督学习用于单视图深度和表面法线估计

    本文提出了一种自监督学习框架来同时训练两个卷积神经网络 (CNNs)，从单个图像预测深度和表面法线，通过一个简单的深度 - 法线一致性软约束，该框架假设自然场景具有分段平滑的法线，通过训练得到的表面法线网络提供了最先进的预测，而深度网络依赖更现实的平滑法线假设，在 KITTI 基准测试中比传统的自监督深度预测网络表现更好。

    Mar, 2019

  • 稀疏多物体渲染与比较

    通过引入多目标检测网络，本研究在 CAD 模型、3D 形状、姿势估计领域取得了最先进的表现，提高了实例对齐准确度，与多视角方法相当。

    Oct, 2023

  • Scan2CAD：RGB-D 扫描中的 CAD 模型对齐学习

    Scan2CAD 是一种数据驱动的方法，可以学习将形状数据库中的 3D CAD 模型对齐到商品 RGB-D 扫描的噪声和不完整几何形状中，其可用于室内场景的三维重建。该方法使用三维卷积神经网络来预测 CAD 模型与其对应扫描对象之间的对应关系，并通过变分能量最小化将 CAD 模型与重构对齐，其在 Scan2CAD 基准测试中表现优异。

    Nov, 2018

  • SuperNormal：基于多视角法线融合的神经表面重建

    SuperNormal 是一种快速、高保真度的多视图 3D 重建方法，利用表面法线图生成详细表面，通过多分辨率哈希编码和基于路径的射线行进来优化神经有符号距离函数 (SDF) 的体积渲染，相较于现有的多视图光度立体重建方法，在效率和准确性上表现卓越。

    Dec, 2023

  • 基于法向引导的高保真三维曲面重建的神经隐式函数

    通过使用一阶微分特性 (即，表面法线)，本文展示了训练神经表示形成高准确度的 3D 表面重建，即使只有两个 RGB 视图可用，极大地改善了以前难以捕捉的复杂几何细节和薄结构。

    Jun, 2024

  • 基于法线图的服装人体弱监督三维重建

    使用 2D 法线贴图进行弱监督的基于深度学习的方法，实现服装人体的三维重建。利用神经网络推断在休息姿势下围绕身体离散的四面体网格上的有符号距离函数 (SDF)，接着利用推断得到的姿势和相机参数生成法线贴图。通过 Marching Tetrahedra 从四面体网格上的 SDF 计算出一个三角化表面，从而方便进行微分计算（反向传播）。因此，仅凭借真实的法线贴图（没有体积信息的真实数据），我们就可以训练网络从相应的 RGB 图像中生成 SDF 值。可选择性地使用多视角损失以改善结果。我们展示了该方法在网络推断和三维重建方面的有效性。

    Nov, 2023

  • 从 RGB-D 图像推断三维物体姿态

    该研究旨在使用卷积神经网络检测和定位 RGB-D 场景中的物体，然后使用 3D 模型替换它们，相对于目前最先进的算法，该方法在 3D 检测任务中表现出 48％的相对改进，并且速度更快。

    Feb, 2015

  • 基于分层 RGB-D 融合的深度表面法线估计

    本论文提出了一种基于 RGB-D 图像的表面法向估计的分层融合网络和自适应特征再加权，设计了混合多尺度损失函数来学习准确的法向估计，实验证明了该方法在场景理解中的有效性。

    Apr, 2019