我们提出了 GS-LRM，一个可扩展的大型重建模型，可以在单个 A100 GPU 上从 2-4 个稀疏图像中预测高质量的 3D 高斯原语，并在 0.23 秒内完成。我们的模型采用了非常简单的基于 transformer 的架构；我们对输入的图像进行了分块处理，通过一系列的 transformer 块将连接的多视图图像令牌传递，并直接从这些令牌解码出每像素的高斯参数以进行可微渲染。与之前仅能重建对象的低秩模型不同，GS-LRM 通过预测每像素的高斯分布，能够自然地处理具有不同尺度和复杂性的场景。我们展示了我们的模型可以适用于对象和场景捕捉，并通过在 Objaverse 和 RealEstate10K 上进行训练，在这两种情景下，我们的模型都比现有的最先进方法表现得更好。我们还展示了我们模型在下游 3D 生成任务中的应用。我们的项目网页位于：this https URL。

Apr, 2024

该研究介绍了一种名为几何感知大型重建模型（GeoLRM）的方法，该方法可以使用 512k 个高斯函数和 21 个输入图像在仅需 11 GB 的 GPU 内存中预测高质量的资源。该模型通过引入一种新颖的三维感知变换器结构和可变形交叉注意机制来解决现有方法在表达低分辨率和提高质量的密集视图方面的局限性，实现了三维结构和二维图像之间的有效融合，并在三维生成任务中表现出显著的性能优势。

Jun, 2024

通过引入大型多视图高斯模型（LGM），这篇论文提出了一种从文本提示或单视图图像生成高分辨率 3D 模型的新框架，其中包含多视图高斯特征作为有效且强大的表示，并利用多视图扩散模型实现高吞吐量骨干网络的不对称 U-Net。大量实验证明了该方法的高保真度和高效性，同时在 5 秒内生成 3D 对象的速度快且训练分辨率达到 512，从而实现了高分辨率 3D 内容生成。

Feb, 2024

MVGamba 是一个通用而轻量级的高斯重建模型，通过基于 RNN 类似的状态空间模型 (SSM) 的多视角高斯重建器，来解决现有高斯重建模型中存在的多视角不一致和模糊纹理问题，并与多视图扩散模型集成，统一了从单一图像、稀疏图像或文本提示的 3D 生成任务，实验证明 MVGamba 在所有 3D 内容生成场景中优于现有基准模型，并且仅需要约 0.1 倍的模型大小。

Jun, 2024

我们提出了 L4GM，这是第一个从单视图视频输入中生成动画对象的 4D 大型重建模型，仅通过一次前馈传递仅需一秒钟。

Jun, 2024

我们提出了第一个大规模重建模型 (LRM)，能够在仅 5 秒内从单个输入图像预测对象的 3D 模型。与许多以类别为基础在小规模数据集（如 ShapeNet）上训练的先前方法不同，LRM 采用一个高度可扩展的基于 transformer 的架构，具有 5 亿个可学习参数，能够直接从输入图像预测神经辐射场（NeRF）。我们以端到端的方式在包含大约 100 万个对象的海量多视图数据上训练我们的模型，包括 Objaverse 的合成渲染和 MVImgNet 的真实采集数据。这种高容量模型和大规模的训练数据的组合使得我们的模型具有很强的通用性，并能够从各种测试输入中生成高质量的 3D 重建结果，包括真实世界中的野外捕捉和生成模型的图像。可在此网站找到视频演示和可交互的 3D 网格：[https://this_URL]。

Nov, 2023

通过引入跨视图一致的交叉注意力机制和利用三维先验信息，提出了一种高效的多视角大型重建模型 (M-LRM)，能够从多视图中以三维感知的方式高质量地重建三维形状，并且相比于 LRM 能够生成分辨率为 $128 imes 128$ 的三平面 NeRF，具有更高的保真度和训练收敛速度。

Jun, 2024

在这项工作中，我们提出了一种高保真度的单图像到 3D 生成模型，名为 Convolutional Reconstruction Model（CRM），该模型通过将几何先验融入到网络设计中，从而克服了稀疏 3D 数据的限制，并在仅 10 秒内从图像生成高保真度的纹理网格，无需任何测试时优化。

Mar, 2024

本文介绍一种名为 BRGM 的方法，该方法使用先前训练好的生成模型和贝叶斯定理来解决不同的图像恢复任务，如超分辨率和图像修复，而无需重新训练模型，可以在多个数据集上实现优秀的性能。

Dec, 2020

该研究提出了一种名为 GMNR 的多平面神经辐亮度模型，其包含一个用于学习视角相关信息的新型 α 引导视角依赖表示模块（α-VdR 模块）和一个视角一致性损失，可以高效地生成视角一致的 3D 感知高分辨率图像。

Apr, 2023