我们提出了第一个大规模重建模型 (LRM)，能够在仅 5 秒内从单个输入图像预测对象的 3D 模型。与许多以类别为基础在小规模数据集（如 ShapeNet）上训练的先前方法不同，LRM 采用一个高度可扩展的基于 transformer 的架构，具有 5 亿个可学习参数，能够直接从输入图像预测神经辐射场（NeRF）。我们以端到端的方式在包含大约 100 万个对象的海量多视图数据上训练我们的模型，包括 Objaverse 的合成渲染和 MVImgNet 的真实采集数据。这种高容量模型和大规模的训练数据的组合使得我们的模型具有很强的通用性，并能够从各种测试输入中生成高质量的 3D 重建结果，包括真实世界中的野外捕捉和生成模型的图像。可在此网站找到视频演示和可交互的 3D 网格：[https://this_URL]。

Nov, 2023

通过引入跨视图一致的交叉注意力机制和利用三维先验信息，提出了一种高效的多视角大型重建模型 (M-LRM)，能够从多视图中以三维感知的方式高质量地重建三维形状，并且相比于 LRM 能够生成分辨率为 $128 imes 128$ 的三平面 NeRF，具有更高的保真度和训练收敛速度。

Jun, 2024

本文提出了一个新的框架，用于从野外视频中重建人体和场景，并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型（human 和 scene），并依赖现有方法估计人体和场景的大致几何形状，可以从观察空间创建到无关姿态的规范空间的偏移场，进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节，包括服装褶皱和配件，并提供在新视角和新姿势下人体的高质量渲染和背景。

Mar, 2022

本文提出了一种简单而有效的方法，使用多视角图像作为条件输入，训练出适用于不同人的可泛化 NeRF，该方法的关键部分是将规范空间与输入和目标图像相连，并利用参数化的 3D 人体模型来导出变形，本方法在实现新视角合成和姿势动画任务方面表现出了很好的效果。

Mar, 2022

该研究介绍了 Real3D，使用单视图真实世界图像训练的第一个大型重建模型系统，通过引入自主训练框架和无监督的损失函数，同时利用现有的合成数据和多样化的单视图真实图像，提高了性能和扩大了图像数据的规模，实验结果表明 Real3D 在不同的评估设置中优于以前的工作。

Jun, 2024

HumanNeRF 是一种通用的神经表示方法，它沿着多视角输入引入了一个聚合像素对齐特征，并使用一种姿态嵌入的非刚性变形场来处理动态运动，进而通过外观融合模块进一步提高渲染质量，实现了在各种多视角动态人体数据集上合成具有照片般逼真的自由视角人类的高效和通用性。

Dec, 2021

本文提出了利用神经辐射场学习单个视角下的 3D 物体建模方法，并通过类别级别的训练数据来重建物体外形，进而实现新视角综合渲染和单目深度估计的高精度结果。

Nov, 2021

我们提出了一种新的方法，从多视角图像中进行 3D 网格重建。我们的方法借鉴了像 LRM 这样的大型重建模型，使用了基于 Transformer 的三面体生成器和在多视角图像上进行训练的神经辐射场（NeRF）模型。然而，在我们的方法中，我们引入了一些重要的修改，以显著提高 3D 重建质量。

Jun, 2024

提出了 MeshLRM，一种基于 LRM 的新方法，在不到一秒的时间内仅使用四个输入图像进行高质量网格的重建。与以往的大型重建模型（LRMs）不同，MeshLRM 在 LRM 框架中融入了可微分网格提取和渲染，可通过微调预训练的 NeRF LRM 进行端到端的网格重建。此外，通过简化先前 LRMs 中的多个复杂设计，我们改进了 LRM 架构。MeshLRM 的 NeRF 初始化使用低分辨率和高分辨率图像进行顺序训练；这种新的 LRM 训练策略实现了显著更快的收敛速度，从而在更少的计算量下获得更好的质量。我们的方法在稀疏视图输入下实现了最先进的网格重建，并且还可应用于很多下游应用，包括文本到三维和单图像到三维的生成。项目页面：此链接。

Apr, 2024

我们引入了 HumanRF，这是一种 4D 动态神经场景表示，可以捕获多视角视频输入中运动的全身外观，并允许从新的未见视角进行播放。通过分解时空为时间矩阵 - 向量分解，我们可以以高压缩比捕获高分辨率细节，并获得长序列的时间上连贯的演员重建。新的多视角数据集 ActorsHQ 提供高保真度的 16 个序列的 160 个相机的 12MP 镜头素材。我们的 HumanRF 有效利用了这些数据，在新颖视角合成方面取得了重要进展，实现接近于制作水平的品质。

May, 2023