SurfaceNet: 一个端到端的 3D 神经网络,用于多视点立体成像
本文针对少量稀疏数据下的 Multi-view stereopsis(MVS)问题,提出一种基于体积的方法 SurfaceNet+ 来解决 ' 不完整性 ' 和 ' 不准确性 ' 问题,并利用一种新颖的体量视图选择方法来选择有效视图并且丢弃无效被遮挡的视图,这一方法在精度和召回率方面具有比其他现有方法更大的性能优势。
May, 2020
本文介绍一种神经网络架构,通过联合学习未知几何形状、相机参数和神经渲染器,能够高质量、高精度、高细节地实现多角度 3D 表面重建。该方法通过零级集的神经网络表示几何形状,并采用基于渲染方程的神经渲染器来预测表面上的光的反射情况,具有广泛的光照和材质建模能力。
Mar, 2020
本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet),首先提取深度视觉图像特征,然后利用不同 iable homography 变形构建 3D 成本体积,并使用 3D 卷积对初始深度图进行规则化和回归,最终与参考图像相结合生成最终输出,其通过引入基于方差的成本度量来适应任意 N-view 输入, 其表现优于现有同类方法并能很好地泛化于室内室外数据。
Apr, 2018
通过特征投影和反投影沿视线的方式,我们提出了一种用于多视图立体成像的学习系统,通过可微化运算,我们能够对 3D 形状进行度量重构,从而实现在几张相对较少的图像(甚至一张图像)中重建 3D 图像,并且证明了我们的方法在 ShapeNet 数据集上优于传统方法和最新的基于学习的方法。
Aug, 2017
3DVNet 是一种结合了先前基于深度和体积的 MVS 方法优点的新型多视图立体 (multi-view stereo) 深度预测方法,使用基于体积的三维卷积神经网络来对所有深度图进行操作,并能够学习有意义的场景级先验知识,其在深度预测和 3D 重建度量上均超越了现有技术,证明该方法在新的环境下具有很好的效果和通用性。
Dec, 2021
DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet),它可以对任意数量的姿态图像进行处理以预测高质量的视差图,其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。
Apr, 2018
本文提出一种基于 Stereographic Projection Neural Network(SPNet)的 3D 物体表示学习方法,使用视图投影和 2D 卷积神经网络来实现物体分类及视图整合。实验结果表明,该方法在 3D 目标分类和形状检索方面具有较高的性能。
Nov, 2018
本文介绍了一个新的 3D 形状识别框架:Point-View Network(PVNet),该框架整合了点云和多视角数据,并利用深度学习和嵌入式注意融合方案提高了 3D 形状的准确识别。
Aug, 2018
该论文提出了一种基于点云的物体表面重建方法,使用编码器 - 解码器网络通过单张图片生成多种视角下的点云,并且使用几何损失函数提高表面拟合准确性。
Nov, 2018
提出了 StereoNet,这是第一个端到端实时立体匹配的深度学习架构,在 NVidia Titan X 上以 60fps 运行,产生高质量,边缘保留且无量化的视差图。 该网络具有超像素匹配精度的关键洞见,比传统立体匹配方法高一个数量级,通过使用低分辨率代价体编码所需的所有信息,从而实现实时性。采用学习的边缘感知上采样函数实现空间精度,并使用 Siamese 网络从左右图像提取特征。在非常低的分辨率代价体中计算视差的初步估计,然后模型通过使用紧凑的像素到像素细化网络的学习上采样函数分层地重新引入高频细节。利用颜色输入作为指南,该函数能够产生高质量的边缘感知输出,并在多个基准测试中取得了显着的结果,演示了所提出的方法在可接受的计算预算下提供了极大的灵活性。
Jul, 2018