Apr, 2024

MeshLRM：高质量网格的大型重建模型

HTML
PDF
TL;DR提出了MeshLRM，一种基于LRM的新方法，在不到一秒的时间内仅使用四个输入图像进行高质量网格的重建。与以往的大型重建模型（LRMs）不同，MeshLRM在LRM框架中融入了可微分网格提取和渲染，可通过微调预训练的NeRF LRM进行端到端的网格重建。此外，通过简化先前LRMs中的多个复杂设计，我们改进了LRM架构。MeshLRM的NeRF初始化使用低分辨率和高分辨率图像进行顺序训练；这种新的LRM训练策略实现了显著更快的收敛速度，从而在更少的计算量下获得更好的质量。我们的方法在稀疏视图输入下实现了最先进的网格重建，并且还可应用于很多下游应用，包括文本到三维和单图像到三维的生成。项目页面：此链接。
发现论文，激发创造
  • LRM：单幅图像到3D的大规模重建模型

    我们提出了第一个大规模重建模型 (LRM)，能够在仅5秒内从单个输入图像预测对象的3D模型。与许多以类别为基础在小规模数据集（如ShapeNet）上训练的先前方法不同，LRM采用一个高度可扩展的基于transformer的架构，具有5亿个可学习参数，能够直接从输入图像预测神经辐射场（NeRF）。我们以端到端的方式在包含大约100万个对象的海量多视图数据上训练我们的模型，包括Objaverse的合成渲染和MVImgNet的真实采集数据。这种高容量模型和大规模的训练数据的组合使得我们的模型具有很强的通用性，并能够从各种测试输入中生成高质量的3D重建结果，包括真实世界中的野外捕捉和生成模型的图像。可在此网站找到视频演示和可交互的3D网格：[https://this_URL]。

    Nov, 2023

  • InstantMesh: 基于稀疏视角大规模重建模型的单张图像高效三维网格生成

    InstantMesh是一种从单个图像进行即时3D网格生成的前向框架，具有最先进的生成质量和可扩展的训练能力。通过发挥现有多视角扩散模型和基于LRM架构的稀疏视图重建模型的优势，InstantMesh能够在10秒内创建多样化的3D资源。通过将可微分的等值面提取模块集成到我们的框架中，并直接在网格表示上进行优化，以提高训练效率和利用更多几何监督，例如深度和法线。公共数据集上的实验结果表明，InstantMesh在定性和定量上明显优于其他最新的图像到3D基准。我们发布了InstantMesh的所有代码，权重和演示，希望它能为3D生成AI社区做出巨大贡献，并赋予研究人员和内容创作者更多的力量。

    Apr, 2024

  • GTR：通过几何和纹理细化改进大型三维重建模型

    我们提出了一种新的方法，从多视角图像中进行3D网格重建。我们的方法借鉴了像LRM这样的大型重建模型，使用了基于Transformer的三面体生成器和在多视角图像上进行训练的神经辐射场（NeRF）模型。然而，在我们的方法中，我们引入了一些重要的修改，以显著提高3D重建质量。

    Jun, 2024

  • M-LRM: 多视角大重建模型

    通过引入跨视图一致的交叉注意力机制和利用三维先验信息，提出了一种高效的多视角大型重建模型(M-LRM)，能够从多视图中以三维感知的方式高质量地重建三维形状，并且相比于LRM能够生成分辨率为$128 imes 128$的三平面NeRF，具有更高的保真度和训练收敛速度。

    Jun, 2024

  • Real3D：用真实世界图像扩展大型重建模型

    该研究介绍了Real3D，使用单视图真实世界图像训练的第一个大型重建模型系统，通过引入自主训练框架和无监督的损失函数，同时利用现有的合成数据和多样化的单视图真实图像，提高了性能和扩大了图像数据的规模，实验结果表明Real3D在不同的评估设置中优于以前的工作。

    Jun, 2024

  • LRM-Zero：使用合成数据训练大型重建模型

    我们提出了LRM-Zero，它是一个完全基于合成3D数据进行训练的大型重建模型，可以实现高质量的稀疏视角3D重建。LRM-Zero的核心是我们的程序化3D数据集Zeroverse，它是通过简单的基本形状进行自动合成，并进行随机纹理和增强处理（例如，高度场、布尔差异和线框）。与前期的3D数据集（例如Objaverse）不同，Zeroverse完全忽略了现实全局语义，但在复杂的几何和纹理细节上与真实物体局部相似甚至更加复杂。我们证明了我们的LRM-Zero，在使用我们完全合成的Zeroverse进行训练时，可以在重建真实世界对象方面达到与使用Objaverse训练的模型竞争性的高视觉质量。我们还分析了对于LRM-Zero的能力和训练稳定性有贡献的Zeroverse的几个关键设计选择。我们的工作表明，作为3D视觉的核心任务之一，可能可以不考虑真实世界物体的语义来解决3D重建问题。Zeroverse的程序化合成代码和交互式可视化可在此URL中获取。

    Jun, 2024

  • GeoLRM：几何感知大规模重建模型用于高质量三维高斯生成

    该研究介绍了一种名为几何感知大型重建模型（GeoLRM）的方法，该方法可以使用512k个高斯函数和21个输入图像在仅需11 GB的GPU内存中预测高质量的资源。该模型通过引入一种新颖的三维感知变换器结构和可变形交叉注意机制来解决现有方法在表达低分辨率和提高质量的密集视图方面的局限性，实现了三维结构和二维图像之间的有效融合，并在三维生成任务中表现出显著的性能优势。

    Jun, 2024

  • $R^2$网格：通过几何和外观精炼的强化学习驱动的网格重建

    本研究解决了现有网格重建方法在捕捉精细几何细节和优化渲染质量上存在的不足。我们提出了一种新颖的算法，通过从多视角图像逐步生成和优化网格，并引入在线学习策略以增强视角，最终表明该方法在网格渲染和几何质量方面具备高度竞争力和稳健性。

    Aug, 2024

  • RelitLRM：用于大型重建模型的可生成重光照辐射

    本文提出RelitLRM，一种大型重建模型，用于从稀疏的姿态图像生成高质量的高斯点云表示，解决了传统逆渲染方法需要密集捕获和缓慢优化的问题。通过采用前馈变换器模型及新颖的几何重建和重光照外观生成器组合，RelitLRM有效分解几何形状和外观，实现材质与光照的模糊消解，并以更快的速度提供与最先进的密集视图优化基线相当的重光照效果。

    Oct, 2024

  • RelitLRM：用于大型重建模型的生成可重光照辐射

    本研究针对传统逆渲染方法在重建3D物体时需大量图像和缓慢优化的缺陷，提出了RelitLRM，这是一种基于前馈变换器的新型大规模重建模型，能在稀疏图像下生成高质量的光照效果。研究表明，RelitLRM在速度上显著优于现有的密集优化基线，同时保持竞争力的可重光照效果，具备潜在的广泛应用前景。

    Oct, 2024