Jun, 2024

MVGamba：将 3D 内容生成统一为状态空间序列建模

PDF
TL;DRMVGamba 是一个通用而轻量级的高斯重建模型，通过基于 RNN 类似的状态空间模型 (SSM) 的多视角高斯重建器，来解决现有高斯重建模型中存在的多视角不一致和模糊纹理问题，并与多视图扩散模型集成，统一了从单一图像、稀疏图像或文本提示的 3D 生成任务，实验证明 MVGamba 在所有 3D 内容生成场景中优于现有基准模型，并且仅需要约 0.1 倍的模型大小。
3d large reconstruction modelsgaussian reconstructionmulti-view information propagationmvgamba3d content generation
发现论文，激发创造
  • 快速通用高斯投影立体视图重建

    MVSGaussian 是一种新的通用化的三维高斯表示方法，通过多视点立体视觉 (MVS) 有效重建未见过的场景，具有实时渲染速度和良好的综合质量。

    May, 2024

  • Gamba：将高斯点渲染与 Mamba 相结合用于单视角三维重建

    我们通过使用大量的三维高斯模型实现了高效的三维资产重建，引入了一种基于序列网络的设计来进行上下文相关的推理和线性可伸缩处理，从而实现了优秀的生成能力和惊人的速度。

    Mar, 2024

  • GRM：高效的大型高斯重建模型用于 3D 重建和生成

    我们介绍了 GRM，一个能够从稀疏视图图像中在大约 0.1 秒内恢复 3D 资产的大规模重构器。GRM 是一个前馈变换器模型，能够高效地将多视图信息结合起来，将输入像素翻译成像素对齐的高斯分布，通过反投影生成一系列密集分布的 3D 高斯分布来表示场景。我们的变换器架构和使用 3D 高斯分布的方法共同构成了一个可扩展且高效的重构框架。广泛的实验结果证明，我们的方法在重构质量和效率方面优于其他替代方法。我们还展示了 GRM 在生成任务中的潜力，即将其与现有的多视图扩散模型集成，如文本到 3D 和图像到 3D。有关我们的项目网站，请访问：this https URL

    Mar, 2024

  • DGMamba: 通过广义状态空间模型实现域泛化

    该研究提出了一种名为 DGMamba 的新型域泛化框架，具有对未知领域的强大普适性和全局感受野以及高效的线性复杂度，通过引入 HSS 和 SPR 两个核心组件来改进分布偏移问题；其中，HSS 减少了与特定领域特征相关的隐藏状态对输出预测的影响，而 SPR 旨在通过重新排列图像内的非语义补丁，并通过领域之间的补丁融合来规范化 Mamba。在四个常用的域泛化基准测试中进行的广泛实验证明，DGMamba 相比于现有模型取得了卓越的结果。

    Apr, 2024

  • LGM：用于高分辨率三维内容创作的大规模多视图高斯模型

    通过引入大型多视图高斯模型（LGM），这篇论文提出了一种从文本提示或单视图图像生成高分辨率 3D 模型的新框架，其中包含多视图高斯特征作为有效且强大的表示，并利用多视图扩散模型实现高吞吐量骨干网络的不对称 U-Net。大量实验证明了该方法的高保真度和高效性，同时在 5 秒内生成 3D 对象的速度快且训练分辨率达到 512，从而实现了高分辨率 3D 内容生成。

    Feb, 2024

  • L4GM：大型四维高斯重建模型

    我们提出了 L4GM，这是第一个从单视图视频输入中生成动画对象的 4D 大型重建模型，仅通过一次前馈传递仅需一秒钟。

    Jun, 2024

  • VmambaIR：图像修复的视觉状态空间模型

    我们提出了 VmambaIR，这是一种综合图像恢复任务的方法，它将线性复杂度的状态空间模型引入其中，通过有效地建模图像信息在各个方向上的流动来克服了状态空间模型的单向建模限制，并在图像去雨、单幅图像超分辨率和实际图像超分辨率等多个图像恢复任务上取得了最先进的性能。

    Mar, 2024

  • VideoMV：基於大型視頻生成模型的一致多視角生成

    使用来自视频生成模型的图像，通过引入一种新的框架以及 3D 感知降噪采样策略，可以更快速地生成密集视图，提高图像的质量和一致性。

    Mar, 2024

  • GS-LRM: 三维高斯喷射的大规模重建模型

    我们提出了 GS-LRM，一个可扩展的大型重建模型，可以在单个 A100 GPU 上从 2-4 个稀疏图像中预测高质量的 3D 高斯原语，并在 0.23 秒内完成。我们的模型采用了非常简单的基于 transformer 的架构；我们对输入的图像进行了分块处理，通过一系列的 transformer 块将连接的多视图图像令牌传递，并直接从这些令牌解码出每像素的高斯参数以进行可微渲染。与之前仅能重建对象的低秩模型不同，GS-LRM 通过预测每像素的高斯分布，能够自然地处理具有不同尺度和复杂性的场景。我们展示了我们的模型可以适用于对象和场景捕捉，并通过在 Objaverse 和 RealEstate10K 上进行训练，在这两种情景下，我们的模型都比现有的最先进方法表现得更好。我们还展示了我们模型在下游 3D 生成任务中的应用。我们的项目网页位于：this https URL。

    Apr, 2024

  • 2L3: 将不完美生成的 2D 图像提升到精确的 3D

    通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题，我们提出了一种新的 3D 重构框架，该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法，并在定量和定性评估中展示了其卓越性能，从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比，我们将 Chamfer 距离误差降低了约 36％，将 PSNR 提高了约 30％。

    Jan, 2024