Point2Mesh: 可变形网格的自学先验
本文提出了一种使用基于网格的表示来捕捉三维重构任务中的细粒度几何信息的学习框架,它使用自由形变和稀疏线性组合的紧凑网格表示来重建三维物体,相比之前的工作,我们不依赖于轮廓和标记来进行三维重建,并在合成和真实数据集上进行了很有前途的实验结果验证。
Nov, 2017
论文提出了一种统一框架,用于解决单幅图像特定类别的3D重建和新3D形状生成的问题。该方法支持弱监督学习,只需要单个实例的2D图像,使用网格作为输出表示,并利用光照信息提高了性能。实验结果表明,该方法在定量度量上与最新的基于体素方法相当或优于,而且结果更加美观,并且在弱监督学习方面表现良好。
Jul, 2018
利用三维表面几何约束以及反射对称性,从单个二维图像中恢复三维网格,相对于现有的2D和2.5D数据的三维重建方法,实现了更好的细节保留和性能表现。
Dec, 2019
本文提出了一种新的基于深度学习的方法,旨在从点云中重建物体表面网格表示,通过预测点云中三元组之间的连通性关系来生成高质量网格,并证明该方法在处理细节保留、模糊结构等实际问题时表现良好。
Jul, 2020
该研究提出了一种新的3D建模和重建学习框架,通过连接基于学习和基于优化的方法的优点并优化学习的先验和潜在编码,提高了深度生成器的广义性。实验结果显示,该方法在处理高度稀疏或坍塌的观测数据方面比现有方法都有优势。
Dec, 2020
提出一种利用深度神经网络的全新2D-3D自先验策略的深度学习流程来重构含有三角网格和纹理贴图的完整3D模型,实验证明该方法不仅无需额外的训练数据即可从稀疏输入中恢复出高质量的3D纹理网格模型,而且在几何和纹理质量上均优于现有方法。
Aug, 2021
提出了一种从无结构点云中重建网格的新框架,通过利用虚拟视图中三维点的可见性和基于传统图割的网格生成。与其他基于学习的方法相比,该方法只在二维二分类任务上进行学习,更加普适和实用。实验表明,在小型复杂物体上,该方法具有良好的可传递性和鲁棒性,并与最先进的学习方法相比具有竞争优势,并且在大型室内和室外场景中表现出色。
Aug, 2021
我们介绍了一种新颖的基于学习的方法,用于编码和操作3D表面网格。我们的方法专门设计用于创建可解释的可变形形状集合的嵌入空间。与以前需要网格处于一对一对应关系的3D网格自编码器不同,我们的方法是以无监督的方式训练的,可以处理各种各样的网格。我们方法的核心是一种谱池化技术,它建立了一个通用的潜空间,摆脱了网格连通性和形状类别的传统限制。整个过程包括两个阶段。在第一阶段,我们采用函数映射范例以无监督的方式提取一组形状之间的点对点映射。然后利用这些点对点映射构建一个公共的潜空间,以确保直观解释和独立于网格连通性和形状类别。通过大量实验证明,我们的方法实现了优秀的重建,并产生了比基准方法更真实、更平滑的插值。
Oct, 2023
InstantMesh是一种从单个图像进行即时3D网格生成的前向框架,具有最先进的生成质量和可扩展的训练能力。通过发挥现有多视角扩散模型和基于LRM架构的稀疏视图重建模型的优势,InstantMesh能够在10秒内创建多样化的3D资源。通过将可微分的等值面提取模块集成到我们的框架中,并直接在网格表示上进行优化,以提高训练效率和利用更多几何监督,例如深度和法线。公共数据集上的实验结果表明,InstantMesh在定性和定量上明显优于其他最新的图像到3D基准。我们发布了InstantMesh的所有代码,权重和演示,希望它能为3D生成AI社区做出巨大贡献,并赋予研究人员和内容创作者更多的力量。
Apr, 2024