Gamba：将高斯点渲染与 Mamba 相结合用于单视角三维重建
MVGamba 是一个通用而轻量级的高斯重建模型，通过基于 RNN 类似的状态空间模型 (SSM) 的多视角高斯重建器，来解决现有高斯重建模型中存在的多视角不一致和模糊纹理问题，并与多视图扩散模型集成，统一了从单一图像、稀疏图像或文本提示的 3D 生成任务，实验证明 MVGamba 在所有 3D 内容生成场景中优于现有基准模型，并且仅需要约 0.1 倍的模型大小。
Jun, 2024
给定增长需求的自动三维内容创建管道，研究了各种三维表示方法以从单个图像生成三维物体。提出了一种名为 AGG 的摊销生成三维高斯架构，可以从单个图像即时生成三维高斯物体，不再需要逐个实例的优化。通过利用中间混合表示，AGG 将生成三维高斯位置和其他外观属性进行联合优化。此外，提出了一个级联的流水线，先生成三维数据的粗略表示，然后使用三维高斯超分辨率模块进行上采样。通过与基于优化和基于采样的其它三维表示方法相比较，我们的方法在定性和定量上展示了具有竞争力的生成能力，同时速度提升了数个数量级。
Jan, 2024
我们提出了一种名为 GMSR-Net 的轻量级模型，它通过全局接受域和线性计算复杂性特点，使用了多个堆叠的梯度 Mamba 块进行光谱重建，同时在空间和光谱提示上引入了新颖的梯度关注机制。与现有方法相比，GMSR-Net 大幅减少了参数和计算负担，同时实现了最新的性能。
May, 2024
该研究提出了一种名为 DGMamba 的新型域泛化框架，具有对未知领域的强大普适性和全局感受野以及高效的线性复杂度，通过引入 HSS 和 SPR 两个核心组件来改进分布偏移问题；其中，HSS 减少了与特定领域特征相关的隐藏状态对输出预测的影响，而 SPR 旨在通过重新排列图像内的非语义补丁，并通过领域之间的补丁融合来规范化 Mamba。在四个常用的域泛化基准测试中进行的广泛实验证明，DGMamba 相比于现有模型取得了卓越的结果。
Apr, 2024
提出了一种使用 MambaMIR 和 MambaMIR-GAN 进行医学图像重建和不确定性估计的方法，通过 Arbitrary-Masked Mamba-based 模型和波尔塔斯转换结合，实现了最佳的重建保真度和感知质量。
May, 2024
从稀疏视图中重建和渲染 3D 物体是促进 3D 视觉技术应用和提高用户体验的关键。本文提出了 GaussianObject 框架，通过高斯散射达到高质量渲染，仅需 4 张输入图像，解决了构建多视角一致性和补充遗漏物体信息的困难，同时在多个数据集上显示出卓越的重建效果，超越现有方法。
Feb, 2024
本研究介绍了 MambaMIR 模型及其基于生成对抗网络的变体 MambaMIR-GAN，利用 Mamba 模型的优势，如线性复杂度、全局感受野和动态权重，通过创新的任意掩码机制使 Mamba 适应图像重建任务，并提供蒙特卡洛法的不确定性估计。实验证明 MambaMIR 和 MambaMIR-GAN 在多个医学图像重建任务中（包括快速 MRI 和 SVCT）取得了与当今最先进方法相媲美甚至更好的重建结果，并提供可靠性的重建质量的估计不确定性图。
Feb, 2024
通过前向推理，我们介绍了一种从单张图像高效生成三维模型的新方法，利用基于 Transformer 的网络，即点解码器和三面解码器，通过混合的 Triplane-Gaussian 中间表示重建三维物体，从而在渲染速度和渲染质量上实现了平衡，并比之前的技术在质量和运行时间方面取得了更好的效果。
Dec, 2023
最近在 3D 内容创建方面的最新进展主要利用基于优化的 3D 生成通过得分蒸馏抽样（SDS）。尽管取得了有希望的结果，但这些方法往往受到每个样本优化速度慢的限制，限制了它们的实际应用。本文提出了 DreamGaussian，一个同时实现效率和质量的创新性 3D 内容生成框架。我们的关键见解是在 UV 空间中设计了一个具有伴随网格提取和纹理细化功能的生成性 3D 高斯飞溅模型。与神经辐射场中使用的占位修剪不同，我们证明了 3D 高斯曲线的渐进致密化对于 3D 生成任务的收敛速度更快。为了进一步提高纹理质量并促进下游应用，我们引入了一种将 3D 高斯曲线转换为纹理网格的高效算法，并应用了一个微调阶段来细化细节。大量实验证明了我们提出方法的卓越效率和竞争的生成质量。值得注意的是，DreamGaussian 从单视图图像中仅用 2 分钟即可生成高质量的纹理网格，与现有方法相比加速了大约 10 倍。
Sep, 2023
我们介绍了 Splatter Image，这是一种超快的单目三维物体重建方法，运行速度达到每秒 38 帧。Splatter Image 基于高斯颗粒化技术，该技术近期实现了实时渲染、快速训练和出色的多视角重建扩展性。我们首次将高斯颗粒化应用于单目重建领域。我们的方法基于学习，测试时只需要前馈评估一个神经网络即可完成重建。Splatter Image 的主要创新之处在于其设计意外地简单：它使用一个二维图像到图像的网络将输入图像映射到每个像素点上的一个三维高斯。因此，所得到的高斯形式呈现为一张图像，即 Splatter Image。我们进一步扩展了该方法，使用多个图像作为输入，并通过添加交叉视图注意力来实现。由于渲染器的速度（每秒 588 帧），我们可以在训练时只使用一个 GPU，在每次迭代中生成整个图像，以优化 LPIPS 等感知度量标准。在标准基准测试中，我们不仅展示了快速重建，而且在 PSNR、LPIPS 和其他度量标准方面相比最近和更昂贵的基线方法取得了更好的结果。
Dec, 2023