快速通用高斯投影立体视图重建
基于 3D 高斯扩散的新视角合成方法在各种场景下表现出了良好的性能,本文提出了一种高效的基于点的可微渲染框架,用于从照片集合中重建场景,通过引入基于残差的球谐系数传输模块,将 3D 高斯扩散方法适应于不同的光照条件和光度后处理,同时引入了一个轻量级的空间注意力模块,可同时预测暂时遮挡物和隐含外观表示,实验结果表明,该方法在新视角和外观合成的渲染质量上优于现有方法,并拥有较高的收敛速度和渲染速度。
Jun, 2024
提出了基于 3D 高斯喷砂的少样本视角合成方法,通过高效地合成视图实现实时和照片般逼真的视角合成,方法称为 FSGS,通过设计精巧的高斯解卷积处理稀疏初始化的 SfM 点,通过分布新的高斯函数填补空白区域中的局部细节,在高斯优化过程中整合大规模预训练的单眼深度估计器,通过在线增强视图引导几何优化达到最优解,FSGS 在包括 LLFF、Mip-NeRF360 和 Blender 在内的各种数据集上实现了最先进的性能,包括准确性和渲染效率。
Dec, 2023
提出了一种名为 Superpoint Gaussian Splatting(SP-GS)的新框架,该框架通过使用显式的 3D 高斯函数来重构场景,并将具有相似属性的高斯函数聚类成超点,从而实现了对动态场景的实时渲染,获得了最新的视觉质量。
Jun, 2024
通过引入低成本跨视聚集、像素级三元组融合和简单有效的自由视图训练策略,我们提出了一个能够从长序列输入中重建几何一致的 3D 场景并实现自由视图合成的新方法 FreeSplat,研究结果表明其在不同数量的输入视图下,在新视图生成的颜色贴图质量和深度图准确性方面都达到了最新水平,并且 FreeSplat 的推断效率更高,能够有效减少冗余的高斯函数,为无需深度先验的大场景重建提供了可能。
May, 2024
VastGaussian 是基于 3D 高斯平面分割的大型场景重建和实时渲染的首个方法,通过渐进的分割策略和外观建模的优化过程,在多个大型场景数据集上实现了超出现有 NeRF 方法的最新成果,实现了快速优化和高保真实时渲染。
Feb, 2024
MVGamba 是一个通用而轻量级的高斯重建模型,通过基于 RNN 类似的状态空间模型 (SSM) 的多视角高斯重建器,来解决现有高斯重建模型中存在的多视角不一致和模糊纹理问题,并与多视图扩散模型集成,统一了从单一图像、稀疏图像或文本提示的 3D 生成任务,实验证明 MVGamba 在所有 3D 内容生成场景中优于现有基准模型,并且仅需要约 0.1 倍的模型大小。
Jun, 2024
通过引入基于平面的高斯点云猜测(PGSR)方法,本研究旨在实现高保真度的表面重建和高质量的渲染,以解决基于 3D 高斯斑点(3DGS)的重构方法中普遍存在的质量问题。实验结果表明,与基于 3DGS 和 NeRF 的方法相比,我们的方法在快速训练和渲染的同时保持了高保真度的渲染和几何重建效果。
Jun, 2024
提出了 MVSNeRF,这是一种新颖的神经渲染方法,可以通过快速网络推理从仅三个附近输入视图重建辐射场,利用平面扫描代价体进行几何感知场景推理,并将其与基于物理的体积渲染相结合,能够横跨场景(甚至是室内场景)泛化,并仅使用三个输入图像生成逼真的视图合成结果,比类似工作在可推广的辐射场重建方面表现显著优越。
Mar, 2021
我们提出了一种称为 MVSplat 的高效前馈 3D 高斯分割模型,通过稀疏多视图图像进行学习。为了准确定位高斯中心,我们通过在三维空间中进行平面扫描来建立成本体积表示,其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下,同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估,我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的 RealEstate10K 和 ACID 基准测试中,我们的模型以最快的前馈推断速度(22 帧 / 秒)实现了最先进的性能。与最新的最先进方法 pixelSplat 相比,我们的模型使用的参数数量少了 10 倍,推断速度更快了两倍,同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。
Mar, 2024
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024