使用 3D 卷积神经网络进行下一个最佳视角回归

Jan, 2021

使用 3D 卷积神经网络进行下一个最佳视角回归

Next-best-view Regression using a 3D Convolutional Neural Network

J. Irving Vasquez-Gomez, David Troncoso, Israel Becerra, Enrique Sucar, Rafael Murrieta-Cid

TL;DR本文提出了一种基于卷积神经网络的数据驱动方法来解决 3D 物体重建中的下一个最佳视角问题，验证实验表明，该方法在预测下一个最佳视角、提高物体重建覆盖率和提高运算速度等方面，都有很高的性能表现。

Abstract

Automated three-dimensional (3D) object reconstruction is the task of building a geometric representation of a physical object by means of sensing its surface. Even though new single view reconstruction techniques can predict the surface, they lead to incomplete models, specially, for non commons objects such as antique objects or art sculptures. Therefore,

3d object reconstruction next-best-view problem data-driven approach convolutional neural network surface sensing

发现论文，激发创造

3D 物体重建中下一最佳视角的监督学习

本文提出了一种基于监督深度学习的最佳视角规划方案，该方案包括自动生成数据集的算法和原始三维卷积神经网络 (3D-CNN)，用于学习下一个最佳视角，并与类似网络进行了比较，并进行了多个实验验证了该方案的有效性，以实现对不知名对象的重建。

May, 2019

3D-NVS：一种用于下一个视角选择的 3D 监督方法

通过分类的方法，提出了一种下一个最佳视角选择的方案，着重于通过一对被动获取的 2D 视图获得最佳可能的 3D 重建质量，并通过地面真实体素的间接 3D 监督来联合训练分类器和重构网络。

Dec, 2020

卷积网络的单张图像多视角 3D 模型

本文提出了一种卷积网络，可以仅仅基于单张图像预测出物体的 RGB 图和深度图，并将多幅深度图融合成完整点云后可转换成表面网格来对任意视野下的三维物体进行识别。网络通过合成的三维车和椅子模型进行训练，在有杂乱背景并搭配真实车辆图像的情况下，仍可生成合理的推测。

Nov, 2015

使用卷积神经网络进行 3D 姿态回归

该研究通过 CNN 回归框架提出了适当的表示、数据增强和损失函数来捕捉姿态空间的几何信息，将 3D 姿态估计问题转化为回归问题，并在 PASCAL3D + 数据集上得到与同类最优方法相当的性能表现。

Aug, 2017

基于图像的三维物体重建：深度学习时代的现状和趋势

本篇综述文章总结了基于深度学习技术的图像三维重建方法，以形状表示、网络结构和训练机制为基础，介绍了近期该领域的研究进展和性能比较，并探讨未来研究的方向。

Jun, 2019

单视角三维重建网络学习什么？

该研究提出了两种替代方法进行单视图对象重建，并证明了编码器 - 解码器方法与这些基线方法在统计上是无法区分的，从而表明当前单视图对象重建技术实际上是在进行图像分类，而非重建。同时，研究者还发现了实验程序中存在的一些问题，并提出了改进方法。

May, 2019

MVPNet：用于从单张图像重建三维物体的多视图点回归网络

该论文提出了一种基于点云的物体表面重建方法，使用编码器 - 解码器网络通过单张图片生成多种视角下的点云，并且使用几何损失函数提高表面拟合准确性。

Nov, 2018

构建多任务 CNN 进行视角估计

本文比较了不同的物体类别视点估计方法，并提出一种新的联合训练方法，并强调了分类方法的优越性、深度架构和扩展训练数据的好处，并证明了即使使用 ImageNet 训练数据，合成数据也是有益的。结合所有这些因素，我们在 Pascal3D + 数据集上的结果比先前的最新成果提高了约 5％的 mAVP，特别是在 24 个视点分类任务上，将结果从 31.1％提高到 36.1％的 mAVP。

Sep, 2016

3D-R2N2：单视角和多视角三维物体重建的统一方法

使用深度学习方法，构建一个名为 3D-R2N2 的递归神经网络结构，使用大量的合成数据将图像映射到对应的 3D 形状，无需图像注释或对象分类标签，可以在缺乏纹理或宽基线的情况下，实现对象的 3D 重建，并在单视图重建方面优于现有的最先进方法。

Apr, 2016

基于 Transformer 的多视角三维重建

本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

Mar, 2021