Nov, 2023

PF-LRM：用于联合姿态和形状预测的无姿态大型重建模型

HTML
PDF
TL;DR我们提出了一种无姿势大重建模型（PF-LRM），可以从少数非姿势图像中重建三维物体，即使视觉重叠很少，同时在单个A100 GPU上估计相对相机姿势，仅需约1.3秒。PF-LRM是一种高度可扩展的方法，利用自注意力块在三维物体标记和二维图像标记之间交换信息；我们为每个视图预测粗略的点云，然后使用可微的透视-n-点（PnP）求解器获得相机姿势。当在约1M个多视图姿势数据上进行训练时，PF-LRM表现出强大的跨数据集泛化能力，并在各种未见评估数据集上以姿势预测准确性和三维重建质量大幅超越基线方法。我们还展示了模型在下游文本/图像到三维任务中的适用性，并具有快速的前馈推理。项目网站位于: this https URL。
发现论文，激发创造
  • LRM：单幅图像到3D的大规模重建模型

    我们提出了第一个大规模重建模型 (LRM)，能够在仅5秒内从单个输入图像预测对象的3D模型。与许多以类别为基础在小规模数据集（如ShapeNet）上训练的先前方法不同，LRM采用一个高度可扩展的基于transformer的架构，具有5亿个可学习参数，能够直接从输入图像预测神经辐射场（NeRF）。我们以端到端的方式在包含大约100万个对象的海量多视图数据上训练我们的模型，包括Objaverse的合成渲染和MVImgNet的真实采集数据。这种高容量模型和大规模的训练数据的组合使得我们的模型具有很强的通用性，并能够从各种测试输入中生成高质量的3D重建结果，包括真实世界中的野外捕捉和生成模型的图像。可在此网站找到视频演示和可交互的3D网格：[https://this_URL]。

    Nov, 2023

  • 3D-LFM：提升基础模型

    本文介绍了一种基于Transformer的3D Lifting Foundation Model (3D-LFM)方法，通过利用变换器的置换等变性来处理3D数据中每个实例的不同点数，抵抗遮挡，并推广到未见过的类别，以实现2D-3D提取任务的卓越性能。

    Dec, 2023

  • 使用大型重建模型进行单视角三维人体数字化

    利用Human-LRM模型，我们可以从一张单一图像中预测人类神经辐射场。通过使用包含3D扫描和多视角捕获的大型数据集进行训练，我们的方法展现出了惊人的适应性。此外，为了增强模型在野外场景（尤其是存在遮挡情况下）中的适用性，我们提出了一种将多视角重建转化为单视角的新策略，即条件三平面扩散模型。这个生成式扩展方法解决了从单个视角观察时人体形状的固有变化，并使得从遮挡图像中重建完整的人体成为可能。通过大量实验证明，Human-LRM在多个基准测试中显著超越了以往的方法。

    Jan, 2024

  • GS-LRM: 三维高斯喷射的大规模重建模型

    我们提出了GS-LRM，一个可扩展的大型重建模型，可以在单个A100 GPU上从2-4个稀疏图像中预测高质量的3D高斯原语，并在0.23秒内完成。我们的模型采用了非常简单的基于transformer的架构；我们对输入的图像进行了分块处理，通过一系列的transformer块将连接的多视图图像令牌传递，并直接从这些令牌解码出每像素的高斯参数以进行可微渲染。与之前仅能重建对象的低秩模型不同，GS-LRM通过预测每像素的高斯分布，能够自然地处理具有不同尺度和复杂性的场景。我们展示了我们的模型可以适用于对象和场景捕捉，并通过在Objaverse和RealEstate10K上进行训练，在这两种情景下，我们的模型都比现有的最先进方法表现得更好。我们还展示了我们模型在下游3D生成任务中的应用。我们的项目网页位于：this https URL。

    Apr, 2024

  • M-LRM: 多视角大重建模型

    通过引入跨视图一致的交叉注意力机制和利用三维先验信息，提出了一种高效的多视角大型重建模型(M-LRM)，能够从多视图中以三维感知的方式高质量地重建三维形状，并且相比于LRM能够生成分辨率为$128 imes 128$的三平面NeRF，具有更高的保真度和训练收敛速度。

    Jun, 2024

  • Real3D：用真实世界图像扩展大型重建模型

    该研究介绍了Real3D，使用单视图真实世界图像训练的第一个大型重建模型系统，通过引入自主训练框架和无监督的损失函数，同时利用现有的合成数据和多样化的单视图真实图像，提高了性能和扩大了图像数据的规模，实验结果表明Real3D在不同的评估设置中优于以前的工作。

    Jun, 2024

  • LRM-Zero：使用合成数据训练大型重建模型

    我们提出了LRM-Zero，它是一个完全基于合成3D数据进行训练的大型重建模型，可以实现高质量的稀疏视角3D重建。LRM-Zero的核心是我们的程序化3D数据集Zeroverse，它是通过简单的基本形状进行自动合成，并进行随机纹理和增强处理（例如，高度场、布尔差异和线框）。与前期的3D数据集（例如Objaverse）不同，Zeroverse完全忽略了现实全局语义，但在复杂的几何和纹理细节上与真实物体局部相似甚至更加复杂。我们证明了我们的LRM-Zero，在使用我们完全合成的Zeroverse进行训练时，可以在重建真实世界对象方面达到与使用Objaverse训练的模型竞争性的高视觉质量。我们还分析了对于LRM-Zero的能力和训练稳定性有贡献的Zeroverse的几个关键设计选择。我们的工作表明，作为3D视觉的核心任务之一，可能可以不考虑真实世界物体的语义来解决3D重建问题。Zeroverse的程序化合成代码和交互式可视化可在此URL中获取。

    Jun, 2024

  • 长序列大重建模型用于广覆盖高斯点云

    本研究解决了传统模型在大场景重建中只能处理少量输入图像的瓶颈问题。我们提出的Long-LRM模型，结合现代Mamba2块与经典变换块，能够在1.3秒内处理32张960x540分辨率的图像，显著提升了处理效率与质量。实验表明，该方法在DL3DV-140和Tanks and Temples等大规模场景数据集上的表现与基于优化的方法相当，但效率提高了两个数量级。

    Oct, 2024

  • PF3plat：无姿态前馈3D高斯溅射

    本研究针对无姿态图像的全新视图合成问题，提出了一种快速、可扩展且高质量的3D重建和视图合成框架。通过解决使用像素对齐的3D高斯溅射所带来的独特挑战，利用预训练的单目深度估计和视觉对应模型，改进了3D高斯的对齐方式，显著提升了重建质量和新视图合成效果。实验证明，PF3plat在各项基准测试中设立了新的最先进水平。

    Oct, 2024

  • 无姿态，无问题：来自稀疏无姿态图像的惊人简单的3D高斯斑点

    本文提出了一种名为NoPoSplat的前馈模型，旨在解决从稀疏无姿态多视角图像重建3D场景的问题。该模型通过仅使用光度损失进行训练，实现了实时3D高斯重建，且无需准确的姿态输入，大幅提升了重建质量和精度，尤其在输入图像重叠有限的情况下表现卓越。

    Oct, 2024