Image2Mesh: 单张图像三维重建的学习框架
本文提出了一种基于自由形变(FFD)的学习方法,用于从单个图像中重建3D形状,实现了细节几何信息的精确编码,并在点云和体积度量方面取得了最先进的结果,同时展示了其在3D语义分割中的应用。
Mar, 2018
本文提出了一种基于图卷积神经网络的端到端深度学习架构,从单个彩色图像中生成三角网格的 3D 形状,并采用粗到细的策略、不同级别的网格相关损失来保证生成的几何形状具有良好的视觉效果和物理精度。
Apr, 2018
论文提出了一种统一框架,用于解决单幅图像特定类别的3D重建和新3D形状生成的问题。该方法支持弱监督学习,只需要单个实例的2D图像,使用网格作为输出表示,并利用光照信息提高了性能。实验结果表明,该方法在定量度量上与最新的基于体素方法相当或优于,而且结果更加美观,并且在弱监督学习方面表现良好。
Jul, 2018
Scan2Mesh是一种基于数据驱动的生成方法,其通过神经网络实现将非结构化和可能不完整的3D扫描转换成结构化的3D网格表示,并生成了类似于手工建模软件创建的CAD模型的网格表示。
Nov, 2018
本文提出了一种基于图卷积的自适应分裂启发式方法,利用几何对象的图表示的附加结构来提高重建,优化本地表面和全局结构,应用于ShapeNet数据集的3D物体重建任务中,生成了具有最先进表现的自适应网格。
Jan, 2019
本文提出了Point2Mesh技术,它可以从输入的点云重建出表面网格,使用了深度神经网络自动定义先验,并通过优化整个形状的卷积核来实现全局优化以适应整个物体。与传统的重建方法相比,Point2Mesh对现实世界的非理想条件更具鲁棒性。
May, 2020
提出了一种从无结构点云中重建网格的新框架,通过利用虚拟视图中三维点的可见性和基于传统图割的网格生成。与其他基于学习的方法相比,该方法只在二维二分类任务上进行学习,更加普适和实用。实验表明,在小型复杂物体上,该方法具有良好的可传递性和鲁棒性,并与最先进的学习方法相比具有竞争优势,并且在大型室内和室外场景中表现出色。
Aug, 2021
该研究提出了一种新的方法,使用单个图像进行3D重建,生成了一个完整的360度3D纹理网格,改进于现有方法,具有更好的几何形状和一致性。
Jun, 2023
基于传统的像素到网格变形方法Pixel2Mesh,本文提出了一种名为T-Pixel2Mesh的新型转换增强架构,通过全局Transformer控制整体形状和局部Transformer逐步细化局部几何细节,结合基于图的点上采样,在真实世界的数据上展示了最先进的性能和普适性能力。
Mar, 2024
InstantMesh是一种从单个图像进行即时3D网格生成的前向框架,具有最先进的生成质量和可扩展的训练能力。通过发挥现有多视角扩散模型和基于LRM架构的稀疏视图重建模型的优势,InstantMesh能够在10秒内创建多样化的3D资源。通过将可微分的等值面提取模块集成到我们的框架中,并直接在网格表示上进行优化,以提高训练效率和利用更多几何监督,例如深度和法线。公共数据集上的实验结果表明,InstantMesh在定性和定量上明显优于其他最新的图像到3D基准。我们发布了InstantMesh的所有代码,权重和演示,希望它能为3D生成AI社区做出巨大贡献,并赋予研究人员和内容创作者更多的力量。
Apr, 2024