3D-LMNet：单张图像实现精确多样的 3D 点云重建的潜在嵌入匹配

Jul, 2018

3D-LMNet：单张图像实现精确多样的 3D 点云重建的潜在嵌入匹配

3D-LMNet: Latent Embedding Matching for Accurate and Diverse 3D Point Cloud Reconstruction from a Single Image

Priyanka Mandikal, K L Navaneet, Mayank Agarwal, R. Venkatesh Babu

TL;DR本篇论文提出了一个双管齐下的方法来解决单视图图像的三维重建问题，引入数据先验的概念并设计了 3D-LMNet，使用潜在嵌入匹配的方法进行三维重建，在概率潜在空间中学习多个与输入视图一致的重建结果，使用新颖的视图分化损失函数实现不同角度的多方案三维重建，实验证明该方法在真实和合成数据集上的性能均超过了现有技术。

Abstract

3d reconstruction from single view images is an ill-posed problem. Inferring the hidden regions from self-occluded images is both challenging and ambiguous. We propose a two-pronged approach to address these issues. To better incorporate the data prior and generate meaningful reconstru

3d reconstruction self-occlusion latent embedding probablistic latent space view-specific diversity loss

发现论文，激发创造

MVPNet：用于从单张图像重建三维物体的多视图点回归网络

该论文提出了一种基于点云的物体表面重建方法，使用编码器 - 解码器网络通过单张图片生成多种视角下的点云，并且使用几何损失函数提高表面拟合准确性。

Nov, 2018

LAM3D：用于单图像三维重建的大规模图像 - 点云对齐模型

大规模重建模型在自动化三维内容生成方面取得了重大突破。然而，这些模型常常产生具有几何不精确性的三维网格，这是由于仅从图像数据推断三维形状的固有挑战所引起的。在本文中，我们介绍了一种新颖的框架，即大型图像与点云对齐模型（LAM3D），它利用三维点云数据增强了生成的三维网格的保真度。我们的方法从开发基于点云的网络开始，有效地生成精确而有意义的潜在三平面，为准确的三维网格重建奠定了基础。在此基础上，我们的图像 - 点云特征对齐技术通过处理单个输入图像，将其与潜在三平面对齐，使图像特征具备强大的三维信息。这个过程不仅丰富了图像特征，还有助于产生高保真度的三维网格，而无需多视图输入，大大降低了几何变形。我们的方法在仅 6 秒内实现了单个图像的最先进高保真度三维网格重建，并在各种数据集上的实验证明了它的有效性。

May, 2024

点云自监督学习：基于三维到多视角遮蔽自编码器

通过使用 3D 到多视图掩码自编码器，充分利用 3D 点云的多模属性，提出了一种全新的方法，这不仅丰富了模型对几何结构的理解，还利用了点云的固有多模性能，有效地改进了各种任务，包括 3D 对象分类、少样本学习、部分分割和 3D 对象检测。

Nov, 2023

2L3: 将不完美生成的 2D 图像提升到精确的 3D

通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题，我们提出了一种新的 3D 重构框架，该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法，并在定量和定性评估中展示了其卓越性能，从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比，我们将 Chamfer 距离误差降低了约 36％，将 PSNR 提高了约 30％。

Jan, 2024

单张图像的三维物体重建点集生成网络

使用深度神经网络从单一图像中重建 3D 点云坐标，设计了面对真实世界几何转换不变性和地面真实性模糊的问题的新型方法，包括条件形状采样器，能够预测多个可能的 3D 点云。在实验中表现优异，不仅在单图像 based 3D 重建基准测试中胜过现有技术，也在形状补全方面表现出强大性能，有望在多个可能性预测方面表现出色。

Dec, 2016

利用自监督形状与姿态网络从图像集合转换为点云

提出了一种深度学习技术，用于从单个图像进行三维物体重建。与以往的方法不同的是，该方法使用只有单一视角的图像进行训练，并具有自我监督学习能力，可实现与使用更多监督信息的方法相媲美的性能。该方法还可以进行测试时间优化。

May, 2020

使用多视角渲染进行自监督学习的三维点云分析

通过多视图渲染三维数据，运用局部和全局两个层次的自监督方式进行神经网络的预训练来取得了优于 PointNet，DGCNN 和 SR-UNet 等现有方法的效果，并分析了合成和真实数据的优缺点。

Oct, 2022

弱监督学习下的精确三维人脸重构：从单张图像到图像集

本文提出了一种使用深度学习技术进行 3D 面部重建的新方法，其中使用了混合损失函数进行弱监督学习，同时利用多个图像进行面部重建，实现了快速、准确、鲁棒的重建效果，对不同数据集进行了综合实验，并与 15 种现有方法进行了比较，证明了其性能处于领先地位。

Mar, 2019

3D-LatentMapper：三维形状的视角无关的单视图重建

本文提出了一种新的框架，利用 Vision Transformer（ViT）和联合图像 - 文本表示模型 CLIP 的中间潜空间，用于单视图重建，通过学习从 ViT 和 CLIP 提取的深度特征与基础 3D 生成模型的潜在空间之间的映射来揭示 3D 形状的重建，且能够实现视角不受限和大遮挡情况下的 3D 形状重建。

Dec, 2022

2D3D-MatchNet：学习在 2D 图像和 3D 点云之间匹配关键点

本研究提出了一种名为 2D3D-MatchNet 的深度网络结构，能够直接从图像和点云中的 2D 和 3D 关键点描述符中匹配和建立 2D-3D 对应关系，并用于视觉位姿估计，结果表明该方法是可行的。

Apr, 2019