InstantSplat:40 秒内无界稀疏姿态无关高斯点云绘制
提出了基于 3D 高斯喷砂的少样本视角合成方法,通过高效地合成视图实现实时和照片般逼真的视角合成,方法称为 FSGS,通过设计精巧的高斯解卷积处理稀疏初始化的 SfM 点,通过分布新的高斯函数填补空白区域中的局部细节,在高斯优化过程中整合大规模预训练的单眼深度估计器,通过在线增强视图引导几何优化达到最优解,FSGS 在包括 LLFF、Mip-NeRF360 和 Blender 在内的各种数据集上实现了最先进的性能,包括准确性和渲染效率。
Dec, 2023
通过利用 3D 高斯喷洒方法,我们开发了一种无需相机姿态的稀疏视图合成的新构建和优化方法,通过在构建过程中使用单目深度和将像素投影回 3D 世界来逐步构建解决方案,并通过检测训练视图与对应的渲染图像之间的 2D 对应关系,我们开发了一种统一可微的管道来完成相机注册和相机姿态与深度的调整,最后进行反投影。我们引入了高斯喷洒中预期表面的新概念,这对我们的优化至关重要。这些步骤使得我们能够获得一个粗糙的解决方案,然后可以使用标准优化方法进行低通滤波和细化。在 Tanks 和 Temples 以及 Static Hikes 数据集上,我们展示了仅使用三个广泛间隔的视图的结果,显示出明显优于竞争方法的质量,包括那些具有近似相机姿态信息的方法。此外,我们的结果在使用一半数据集时,随着视图数量的增加而改善,并且在使用 InstantNGP 和高斯喷洒算法时超过了先前的方法。
May, 2024
我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法,通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性,实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。
Nov, 2023
提出了一种名为 Superpoint Gaussian Splatting(SP-GS)的新框架,该框架通过使用显式的 3D 高斯函数来重构场景,并将具有相似属性的高斯函数聚类成超点,从而实现了对动态场景的实时渲染,获得了最新的视觉质量。
Jun, 2024
通过引入低成本跨视聚集、像素级三元组融合和简单有效的自由视图训练策略,我们提出了一个能够从长序列输入中重建几何一致的 3D 场景并实现自由视图合成的新方法 FreeSplat,研究结果表明其在不同数量的输入视图下,在新视图生成的颜色贴图质量和深度图准确性方面都达到了最新水平,并且 FreeSplat 的推断效率更高,能够有效减少冗余的高斯函数,为无需深度先验的大场景重建提供了可能。
May, 2024
4D 高斯喷洒是一种在动态场景下表示动态场景的新方法,通过时间切片和投影技术实现了对复杂运动和细节的建模,并在实时渲染方面取得了显著的效果和效率优势。
Feb, 2024
我们提出了一种称为 MVSplat 的高效前馈 3D 高斯分割模型,通过稀疏多视图图像进行学习。为了准确定位高斯中心,我们通过在三维空间中进行平面扫描来建立成本体积表示,其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下,同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估,我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的 RealEstate10K 和 ACID 基准测试中,我们的模型以最快的前馈推断速度(22 帧 / 秒)实现了最先进的性能。与最新的最先进方法 pixelSplat 相比,我们的模型使用的参数数量少了 10 倍,推断速度更快了两倍,同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。
Mar, 2024
本文介绍了一种名为 GS-SLAM 的算法,它在同时定位与地图构建(SLAM)系统中首次使用了 3D 高斯表示方法,实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比,我们的方法采用了实时可微分雀斑光照渲染流水线,大大加速了地图优化和 RGB-D 重渲染。具体而言,我们提出了一种自适应扩张策略,通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外,在位姿跟踪过程中,设计了一种有效的从粗到细的技术,以选择可靠的 3D 高斯表示来优化相机姿态,从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。
Nov, 2023
基于 3D 高斯扩散的新视角合成方法在各种场景下表现出了良好的性能,本文提出了一种高效的基于点的可微渲染框架,用于从照片集合中重建场景,通过引入基于残差的球谐系数传输模块,将 3D 高斯扩散方法适应于不同的光照条件和光度后处理,同时引入了一个轻量级的空间注意力模块,可同时预测暂时遮挡物和隐含外观表示,实验结果表明,该方法在新视角和外观合成的渲染质量上优于现有方法,并拥有较高的收敛速度和渲染速度。
Jun, 2024
我们提出了一种新的稠密同时定位与建图(SLAM)方法,该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景,并通过提出新的策略来扩展高斯斑点的应用,使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外,我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量,同时在重建性能和运行时间方面具有竞争力。
Dec, 2023