ECCVApr, 2016

单张图像 3D 解释器网络

PDF
TL;DR本文提出了一种名为 3D Interpreter Network（3D-INN）的端到端框架，通过序贯估计 2D 关键点热图和 3D 物体结构，该网络主要依靠两项技术创新，即 Projection Layer 和关键点热图。通过在真实 2D 注释图像和合成 3D 数据上训练，3D-INN 在 2D 关键点估计和 3D 结构恢复上均取得了最先进的性能。
3d object structurecomputer vision3d-innkeypoint heatmapsynthetic data
发现论文，激发创造
  • 基于观察者中心线框模型的 3D 解释器网络

    本文提出了一种称为 3D Interpreter Networks (3D-INN) 的网络，该网络旨在从单个图像中提取 3D 对象的姿态和结构信息。该网络基于 2D-annotated 真实图像和合成 3D 数据进行训练，并通过中间表示关键点的热图连接真实和合成数据。实验表明，该系统在 2D 关键点估计和 3D 结构恢复方面表现良好。

    Apr, 2018

  • ImageNet3D：面向通用对象级别 3D 理解

    通过与 ImageNet 数据集相结合，ImageNet3D 数据集提供了 200 个类别的 2D 和 3D 信息，从而为构建具有更强的通用性目标级三维理解的视觉模型提供了潜力。

    Jun, 2024

  • 卷积网络的单张图像多视角 3D 模型

    本文提出了一种卷积网络，可以仅仅基于单张图像预测出物体的 RGB 图和深度图，并将多幅深度图融合成完整点云后可转换成表面网格来对任意视野下的三维物体进行识别。网络通过合成的三维车和椅子模型进行训练，在有杂乱背景并搭配真实车辆图像的情况下，仍可生成合理的推测。

    Nov, 2015

  • 神经元件：使用可逆神经网络学习表达性三维形状抽象

    本研究介绍了一种新的三维基元表示方法 Neural Parts，该方法使用可逆神经网络定义基元，并通过学习将三维对象解析为语义一致的部件排列，有效地抽象了三维形状并实现了精确的重建。

    Mar, 2021

  • SynSin：从单张图像到端到端的视角合成

    本文提出了一种使用真实图像来训练、无需 3D 场景真值信息，通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像，并通过细化网络解码来填补缺失区域的新型端到端模型，在测试时可以对潜在特征空间进行可解释的操作，可以生成高分辨率图像并推广到其他输入分辨率，将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。

    Dec, 2019

  • 通过视角合成实现分层结构化三维场景推断

    该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法，使用视图合成作为代理任务来弥补直接监督缺失的不足，并展示了其在两种不同场景下的定性和定量验证结果。

    Jul, 2018

  • 基于原始图网络的单图像 3D 物体估计

    采用基于原始体的表示法，提出了一个两阶段图网络进行基于原始体的 3D 物体估计的方法，并使用丰富的几何和语义约束来提高了 3D 结构的恢复质量。

    Sep, 2021

  • 使用隐式表示从单张图像中全面理解三维场景

    本文提出了一种基于单幅图像的全面三维场景理解的新管道，该管道可以预测物体形状、物体姿态和场景布局，利用最新的深度隐式表示方法解决了物体形状和布局的不精确估计的问题，通过物理违规损失函数避免了物体之间的错误场景。实验结果表明，该方法在物体形状、场景布局估计和三维物体检测方面优于现有最先进技术。

    Mar, 2021

  • Im2Pano3D：扩展 360° 视野结构和语义信息

    本论文提出了一种名为 Im2Pano3D 的卷积神经网络，该网络可以仅基于部分观察（<=50%），即 RGB-D 图像，为室内全景视图生成 3D 结构的稠密预测和语义标签的概率分布，其利用大规模合成和实际环境内部场景中学习到的强大的语境先验来实现。

    Dec, 2017

  • 从合成图像学习快速准确的 3D 姿态推断的特征映射

    该研究提出了一种基于合成图像的深度网络训练方法，通过使用基于 “范例” 的映射，将合成图像的特征空间映射到实际图像的特征空间中，以此用于 3D 姿态估计的预测。通过实验，该方法在 LINEMOD 数据集中实现了优于现有方法的性能表现。

    Dec, 2017