Dec, 2023

三视图遇上高斯点云投影：使用 Transformer 快速且可推广的单视图 3D 重建

PDF
TL;DR通过前向推理，我们介绍了一种从单张图像高效生成三维模型的新方法，利用基于 Transformer 的网络，即点解码器和三面解码器，通过混合的 Triplane-Gaussian 中间表示重建三维物体，从而在渲染速度和渲染质量上实现了平衡，并比之前的技术在质量和运行时间方面取得了更好的效果。
发现论文，激发创造
  • DIG3D: 高斯扩散融合可变形变换用于单张图像三维重建

    利用单视角 RGB 图像进行三维重建及新视角合成的研究中，提出了一种名为 DIG3D 的新方法，该方法利用编码 - 解码框架，通过编码器的深度感知图像特征指导解码器生成三维高斯图像，具体来说，引入了可变形变换器，通过三维参考点和多层细化适应来进行高效且有效的解码。通过利用三维高斯图像的优势，我们的方法为从单视角图像进行三维重建提供了高效且准确的解决方案。我们在 ShapeNet SRN 数据集上对方法进行了评估，在汽车和椅子数据集上获得了分别为 24.21 和 24.98 的峰值信噪比（PSNR），结果比最近的方法提高了约 2.25％，证明了我们方法在实现优越结果方面的有效性。

    Apr, 2024

  • FDGaussian: 从单张图像中快速生成高斯喷溅的几何感知扩散模型

    通过引入 FDGaussian，我们提出了一种新颖的两阶段单图像 3D 重建框架，利用直接平面分解机制从二维输入中提取三维几何特征，实现生成一致的多视角图像，并结合对极注意力进一步加速高质量的三维对象重建。

    Mar, 2024

  • 单张图像的三维物体重建点集生成网络

    使用深度神经网络从单一图像中重建 3D 点云坐标，设计了面对真实世界几何转换不变性和地面真实性模糊的问题的新型方法，包括条件形状采样器，能够预测多个可能的 3D 点云。在实验中表现优异，不仅在单图像 based 3D 重建基准测试中胜过现有技术，也在形状补全方面表现出强大性能，有望在多个可能性预测方面表现出色。

    Dec, 2016

  • IM-3D：迭代多视图扩散与重建的高质量 3D 生成

    在本文中，我们通过考虑视频生成器，使用高斯喷洒的 3D 重建算法，减少 2D 生成器网络的评估次数 10-100 倍，实现更高效的处理管道，提供更高质量、更少几何不一致性和更多可用的 3D 资源。

    Feb, 2024

  • Hyper-VolTran：基于超网络的快速且通用的一次性图像到 3D 物体结构转换

    从单一视角解决图像到三维的问题是一个不适定问题，现有的神经重建方法依靠场景特定的优化限制其泛化能力。为了克服现有方法在泛化和一致性方面的局限性，我们引入了一种新颖的神经渲染技术。我们的方法通过几何编码体积和超网络，采用有符号距离函数作为表面表示，并从生成的多视图输入构建神经编码体积，在测试时根据输入图像调整 SDF 网络的权重，通过超网络以前馈方式实现对新场景的模型适应。为了减轻合成视图产生的伪影，我们提出了一个体素变换模块来改善图像特征的聚合，而不是单独处理每个视点。通过我们提出的 Hyper-VolTran 方法，我们避免了场景特定优化的瓶颈，并保持从多个视点生成的图像的一致性。我们的实验证明了我们提出的方法的优越性，具有一致的结果和快速生成。

    Dec, 2023

  • 快速通用高斯投影立体视图重建

    MVSGaussian 是一种新的通用化的三维高斯表示方法，通过多视点立体视觉 (MVS) 有效重建未见过的场景，具有实时渲染速度和良好的综合质量。

    May, 2024

  • MVPNet：用于从单张图像重建三维物体的多视图点回归网络

    该论文提出了一种基于点云的物体表面重建方法，使用编码器 - 解码器网络通过单张图片生成多种视角下的点云，并且使用几何损失函数提高表面拟合准确性。

    Nov, 2018

  • 2L3: 将不完美生成的 2D 图像提升到精确的 3D

    通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题，我们提出了一种新的 3D 重构框架，该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法，并在定量和定性评估中展示了其卓越性能，从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比，我们将 Chamfer 距离误差降低了约 36％，将 PSNR 提高了约 30％。

    Jan, 2024

  • DiffTF++：大词汇量三维生成的三维感知扩散变换器

    通过引入一种基于扩散的前馈框架，以及使用改进的三面平面和 3D-aware 转换器、编码器 / 解码器来处理大规模的 3D 资源生成任务，该研究提出了一个更强的 3D 生成模型，以增强多样性、语义和质量。

    May, 2024

  • 超点高斯飞溅实时高保真动态场景重建

    提出了一种名为 Superpoint Gaussian Splatting（SP-GS）的新框架，该框架通过使用显式的 3D 高斯函数来重构场景，并将具有相似属性的高斯函数聚类成超点，从而实现了对动态场景的实时渲染，获得了最新的视觉质量。

    Jun, 2024