无需针对每个形状优化,45秒内将任意单张图像转换为3D网格
本文提出了一种使用基于网格的表示来捕捉三维重构任务中的细粒度几何信息的学习框架,它使用自由形变和稀疏线性组合的紧凑网格表示来重建三维物体,相比之前的工作,我们不依赖于轮廓和标记来进行三维重建,并在合成和真实数据集上进行了很有前途的实验结果验证。
Nov, 2017
提出了一种分析合成方法,用于快速多视角不透明物体的三维重建,通过将表面表示为三角形网格并围绕三角形光栅化和神经阴影构建可微分的渲染管道,优化三角形网格和神经着色器来重现多视图图像,并研究了着色器,发现它学习了可解释的外观表示。
Dec, 2022
本文提出了一种基于神经辐射场的方法,通过使用已有的条件图像生成器引导其“创造”目标物体的新视图,通过 DreamFields 和 DreamFusion 的启发,将给定的输入视图、条件先验和其他正则化参数融合在一起,从而解决了从单张图像进行 360° 拍摄的问题,并在单眼 3D 建模重建中达到了最先进的效果。
Feb, 2023
借助Viewset Diffusion框架,可以从2D数据中训练图像条件化的3D生成模型,从而解决单视图3D重建中的歧义问题,并通过对多视图图像集的去噪扩展了3D真实数据的可用性,通过仅渲染3张图片,我们的模型可以执行3D生成和单视图重建。
Jun, 2023
本文提出了一种新的神经重建方法,使用可访问的 2D 图像作为监督来进行 3D 场景重建,其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建,并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。
Jun, 2023
Magic123提出通过使用2D和3D先验知识,用单张无姿态图像实现高质量纹理3D网格的生成,通过参考视图监督和新视角的结合引导学习3D内容,并在训练过程中引入单一权衡参数控制对生成几何结构的探索和开发。此外,该模型采用文本反演和单目深度正则化以保证视角一致性和防止退化解,并在综合合成和真实场景测试中体现了较大提升。
Jun, 2023
从单视图图像重建详细的3D场景仍然是一项具有挑战性的任务,我们提出了一种新颖的框架,用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场(SSR)表示,利用显式的3D形状监督和颜色、深度和表面法线图的体素渲染,克服了部分观测下形状和外观的模糊性,同时支持从新视点渲染图像。除了个体物体,我们的方法还支持将物体水平的表示组合成灵活的场景表示,从而实现了整体场景理解和3D场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。
Nov, 2023
这篇论文提出了一种创新的方法One-2-3-45++,可以在大约一分钟内将单张图像转化为详细的3D纹理网格,通过利用二维扩散模型的知识和有限的三维数据的先验信息,该方法能够快速生成高质量、多样化且与原始输入图像紧密相似的3D模型。
Nov, 2023
我们提出了一种新颖的方法,用于从多个图像中进行3D物体表面重建,其中只捕获了物体的一部分。我们的方法基于两个最新发展:使用神经辐射场进行表面重建,用于重建表面的可见部分,以及使用预训练的2D扩散模型的指导(SDS)完成未观察到的区域的形状。我们引入了三个组件:首先,建议使用法线图作为SDS的纯几何表示,而不是与外观信息交织在一起的颜色渲染。其次,我们在训练过程中使SDS噪声保持固定,这会导致更一致的梯度和更好的收敛性。第三,我们提出了多视角SDS作为一种在不对底层2D稳定扩散模型进行微调或更改的情况下对非可观察部分的生成进行条件化的方法。我们在BlendedMVS数据集上对我们的方法进行评估,结果显示相比竞争方法,我们取得了显著的定量和定性改进。
Dec, 2023
本研究针对现有开世界3D重建模型在生成高质量网格时的不足之处,提出了一种新颖的MeshFormer模型。该模型通过结合3D稀疏体素、变换器和3D卷积,显著提升了三维结构的学习效率,最终能够高效生成具有精细几何细节的高质量网格。
Aug, 2024