Feb, 2024

LGM：用于高分辨率三维内容创作的大规模多视图高斯模型

PDF
TL;DR通过引入大型多视图高斯模型（LGM），这篇论文提出了一种从文本提示或单视图图像生成高分辨率 3D 模型的新框架，其中包含多视图高斯特征作为有效且强大的表示，并利用多视图扩散模型实现高吞吐量骨干网络的不对称 U-Net。大量实验证明了该方法的高保真度和高效性，同时在 5 秒内生成 3D 对象的速度快且训练分辨率达到 512，从而实现了高分辨率 3D 内容生成。
3d content creationlarge multi-view gaussian modelhigh-resolution 3d modelsmulti-view gaussian featuresasymmetric u-net
发现论文，激发创造
  • L4GM：大型四维高斯重建模型

    我们提出了 L4GM，这是第一个从单视图视频输入中生成动画对象的 4D 大型重建模型，仅通过一次前馈传递仅需一秒钟。

    Jun, 2024

  • GRM：高效的大型高斯重建模型用于 3D 重建和生成

    我们介绍了 GRM，一个能够从稀疏视图图像中在大约 0.1 秒内恢复 3D 资产的大规模重构器。GRM 是一个前馈变换器模型，能够高效地将多视图信息结合起来，将输入像素翻译成像素对齐的高斯分布，通过反投影生成一系列密集分布的 3D 高斯分布来表示场景。我们的变换器架构和使用 3D 高斯分布的方法共同构成了一个可扩展且高效的重构框架。广泛的实验结果证明，我们的方法在重构质量和效率方面优于其他替代方法。我们还展示了 GRM 在生成任务中的潜力，即将其与现有的多视图扩散模型集成，如文本到 3D 和图像到 3D。有关我们的项目网站，请访问：this https URL

    Mar, 2024

  • GeoLRM：几何感知大规模重建模型用于高质量三维高斯生成

    该研究介绍了一种名为几何感知大型重建模型（GeoLRM）的方法，该方法可以使用 512k 个高斯函数和 21 个输入图像在仅需 11 GB 的 GPU 内存中预测高质量的资源。该模型通过引入一种新颖的三维感知变换器结构和可变形交叉注意机制来解决现有方法在表达低分辨率和提高质量的密集视图方面的局限性，实现了三维结构和二维图像之间的有效融合，并在三维生成任务中表现出显著的性能优势。

    Jun, 2024

  • M-LRM: 多视角大重建模型

    通过引入跨视图一致的交叉注意力机制和利用三维先验信息，提出了一种高效的多视角大型重建模型 (M-LRM)，能够从多视图中以三维感知的方式高质量地重建三维形状，并且相比于 LRM 能够生成分辨率为 $128 imes 128$ 的三平面 NeRF，具有更高的保真度和训练收敛速度。

    Jun, 2024

  • GS-LRM: 三维高斯喷射的大规模重建模型

    我们提出了 GS-LRM，一个可扩展的大型重建模型，可以在单个 A100 GPU 上从 2-4 个稀疏图像中预测高质量的 3D 高斯原语，并在 0.23 秒内完成。我们的模型采用了非常简单的基于 transformer 的架构；我们对输入的图像进行了分块处理，通过一系列的 transformer 块将连接的多视图图像令牌传递，并直接从这些令牌解码出每像素的高斯参数以进行可微渲染。与之前仅能重建对象的低秩模型不同，GS-LRM 通过预测每像素的高斯分布，能够自然地处理具有不同尺度和复杂性的场景。我们展示了我们的模型可以适用于对象和场景捕捉，并通过在 Objaverse 和 RealEstate10K 上进行训练，在这两种情景下，我们的模型都比现有的最先进方法表现得更好。我们还展示了我们模型在下游 3D 生成任务中的应用。我们的项目网页位于：this https URL。

    Apr, 2024

  • VideoMV：基於大型視頻生成模型的一致多視角生成

    使用来自视频生成模型的图像，通过引入一种新的框架以及 3D 感知降噪采样策略，可以更快速地生成密集视图，提高图像的质量和一致性。

    Mar, 2024

  • MVGamba：将 3D 内容生成统一为状态空间序列建模

    MVGamba 是一个通用而轻量级的高斯重建模型，通过基于 RNN 类似的状态空间模型 (SSM) 的多视角高斯重建器，来解决现有高斯重建模型中存在的多视角不一致和模糊纹理问题，并与多视图扩散模型集成，统一了从单一图像、稀疏图像或文本提示的 3D 生成任务，实验证明 MVGamba 在所有 3D 内容生成场景中优于现有基准模型，并且仅需要约 0.1 倍的模型大小。

    Jun, 2024

  • 单视角图像中的可推广人类高斯模型

    从单幅图像中学习可推广的三维人体高斯模型，通过扩散引导的三维人体建模框架，结合几何先验和注意机制，有效地恢复细节几何形状和外观，并具备在自然环境中的强大泛化能力。

    Jun, 2024

  • LRM：单幅图像到 3D 的大规模重建模型

    我们提出了第一个大规模重建模型 (LRM)，能够在仅 5 秒内从单个输入图像预测对象的 3D 模型。与许多以类别为基础在小规模数据集（如 ShapeNet）上训练的先前方法不同，LRM 采用一个高度可扩展的基于 transformer 的架构，具有 5 亿个可学习参数，能够直接从输入图像预测神经辐射场（NeRF）。我们以端到端的方式在包含大约 100 万个对象的海量多视图数据上训练我们的模型，包括 Objaverse 的合成渲染和 MVImgNet 的真实采集数据。这种高容量模型和大规模的训练数据的组合使得我们的模型具有很强的通用性，并能够从各种测试输入中生成高质量的 3D 重建结果，包括真实世界中的野外捕捉和生成模型的图像。可在此网站找到视频演示和可交互的 3D 网格：[https://this_URL]。

    Nov, 2023

  • 超高像素大型多模态模型

    高分辨率是大型多模式模型（LMMs）的基础，本论文提出了一种新的框架和优化策略，通过混合适配器从全局视图中提取上下文信息，并引入可学习的查询嵌入来减少图像标记，同时通过相似性选择器选择用户问题的关键标记，实现更好的性能表现。此外，通过交替训练的方式平衡学习全局和局部方面，并引入高要求图像细节的数据集来增强局部压缩层的训练，提出的方法在各项基准测试中表现出优异性能。

    Jun, 2024