GaSpCT: 高斯喷点在新型 CT 投影视图合成中的应用
通过 GPS-Gaussian 方法，我们可以实时合成一个字符的新视图，以稀疏的视图相机设置进行 2K 分辨率渲染。通过在源视图上定义高斯参数图并直接回归高斯喷洒属性，我们无需进行任何微调或优化即可实现即时的新视图合成。我们通过大量的人体扫描数据对高斯参数回归模块进行训练，同时使用深度估计模块将 2D 参数图转化为 3D 空间。实验结果表明，我们的方法在几个数据集上优于最先进的方法，同时实现了非凡的渲染速度。
Dec, 2023
图像基于的三维重建是一项具有挑战性的任务，涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术，包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述，包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会，对算法进行全面的研究至关重要。因此，本研究全面概述了高斯激波最新进展。
May, 2024
稀疏视图 CT 重建研究中，3D 高斯模型的应用表现出更好的收敛性和新视图渲染，其通过启发来自滤波反投影重建图像的先验信息去初始化高斯模型，并通过在投影空间中比较差异来更新其参数，自适应密度控制进一步提高了性能，相比隐式神经表示方法 (INR) 3D 高斯模型更能从先验信息中受益，将性能更高效地分配在空白区域，加速了收敛速度，同时也能高效地学习高频细节。在自监督学习的方式下进行训练，3D 高斯模型避免了大规模配对数据的需求。对 AAPM-Mayo 数据集的实验证明，相比基于 INR 的方法，3D 高斯模型能够提供更优异的性能。
Dec, 2023
通过引入低成本跨视聚集、像素级三元组融合和简单有效的自由视图训练策略，我们提出了一个能够从长序列输入中重建几何一致的 3D 场景并实现自由视图合成的新方法 FreeSplat，研究结果表明其在不同数量的输入视图下，在新视图生成的颜色贴图质量和深度图准确性方面都达到了最新水平，并且 FreeSplat 的推断效率更高，能够有效减少冗余的高斯函数，为无需深度先验的大场景重建提供了可能。
May, 2024
利用特征喷溅（FeatSplat）将三维高斯场的颜色信息编码到每个高斯特征向量中，进而通过小型 MLP 解码融合的特征向量以生成 RGB 像素值，且通过叠加相机嵌入来条件解码以包含视角信息。实验证明，该方法显著提高了对训练视图之外远离的低重叠视图的新视图合成，并展示了特征向量表示的能力不仅可以生成新视图的 RGB 值，还可以生成每个像素的语义标签。
May, 2024
提出了一种名为 Superpoint Gaussian Splatting（SP-GS）的新框架，该框架通过使用显式的 3D 高斯函数来重构场景，并将具有相似属性的高斯函数聚类成超点，从而实现了对动态场景的实时渲染，获得了最新的视觉质量。
Jun, 2024
通过优化 3D 高斯飞溅表示法，将高保真度场景重建应用于稀疏图像集合的新视角合成，并通过压缩的 3D 高斯飞溅表示法，在显著降低内存消耗和提高渲染效率的基础上，实现了对方向性颜色和高斯参数进行压缩。在多个数据集上进行广泛实验，证明了该方法的鲁棒性和渲染速度。
Nov, 2023
我们提出了一种称为 MVSplat 的高效前馈 3D 高斯分割模型，通过稀疏多视图图像进行学习。为了准确定位高斯中心，我们通过在三维空间中进行平面扫描来建立成本体积表示，其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下，同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估，我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的 RealEstate10K 和 ACID 基准测试中，我们的模型以最快的前馈推断速度（22 帧 / 秒）实现了最先进的性能。与最新的最先进方法 pixelSplat 相比，我们的模型使用的参数数量少了 10 倍，推断速度更快了两倍，同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。
Mar, 2024
提出了一种新的动态场景视图合成方法，通过引入时间、运动和旋转参数增强了三维高斯函数，使用神经特征进行渲染，同时在具有挑战性的区域中利用训练误差和粗略深度进行高分辨率、实时渲染，并保持紧凑存储。
Dec, 2023