本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting以及新视角合成等主题，通过使用显式几何表示和输入视频流的连续性，实现了无需任何SfM预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。

Dec, 2023

这篇论文介绍了GGRt，一种新颖的通用新视角合成方法，它减轻了对真实相机位姿、处理高分辨率图像的复杂性和冗长的优化过程的需要，从而促进了3D高斯喷溅（3D-GS）在实际场景中的更强适用性。

Mar, 2024

我们提出了一种称为MVSplat的高效前馈3D高斯分割模型，通过稀疏多视图图像进行学习。为了准确定位高斯中心，我们通过在三维空间中进行平面扫描来建立成本体积表示，其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下，同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估，我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的RealEstate10K和ACID基准测试中，我们的模型以最快的前馈推断速度（22帧/秒）实现了最先进的性能。与最新的最先进方法pixelSplat相比，我们的模型使用的参数数量少了10倍，推断速度更快了两倍，同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。

Mar, 2024

通过将点云表示与端到端的稠密立体模型相结合，InstantSplat能够在不到1分钟的时间内从稀疏视图和无姿态图像中构建大规模场景的三维高斯平面，并显著提高 SSIM （32%）且同时降低绝对轨迹误差（ATE）80%。

Mar, 2024

通过利用3D高斯喷洒方法，我们开发了一种无需相机姿态的稀疏视图合成的新构建和优化方法，通过在构建过程中使用单目深度和将像素投影回3D世界来逐步构建解决方案，并通过检测训练视图与对应的渲染图像之间的2D对应关系，我们开发了一种统一可微的管道来完成相机注册和相机姿态与深度的调整，最后进行反投影。我们引入了高斯喷洒中预期表面的新概念，这对我们的优化至关重要。这些步骤使得我们能够获得一个粗糙的解决方案，然后可以使用标准优化方法进行低通滤波和细化。在Tanks和Temples以及Static Hikes数据集上，我们展示了仅使用三个广泛间隔的视图的结果，显示出明显优于竞争方法的质量，包括那些具有近似相机姿态信息的方法。此外，我们的结果在使用一半数据集时，随着视图数量的增加而改善，并且在使用InstantNGP和高斯喷洒算法时超过了先前的方法。

May, 2024

本研究提出了一种名为Splatt3R的方法，针对从非校准的立体图像对中进行3D重建与新视角合成的挑战，消除了对相机参数和深度信息的依赖。该方法通过优化3D点云几何损失并引入新视角合成目标，从而避免了训练3D高斯喷溅时的局部最小值问题，这一创新显著提高了在自然图像中的泛化能力和性能。研究表明，Splatt3R可以以512 x 512分辨率以4FPS的速度重建场景，并实现实时渲染。

Aug, 2024

本文提出了Splatt3R，一种无姿态、前馈的方法用于野外3D重建和新视角合成，解决了从未校准自然图像中直接预测3D高斯喷溅的问题。该方法在MASt3R的基础上进行扩展，能够同时处理3D结构和外观，相比传统方法，避免了训练3D高斯喷溅时的局部最小值。实验结果表明，Splatt3R在未校准图像上的泛化性能优异，且可实现实时渲染。

Aug, 2024

本研究解决了单目物体姿态估计中对准确2D-3D对应关系的依赖问题，传统方法常需昂贵的CAD模型。我们提出的SGPose框架通过随机立方体初始化和高斯方法进行稀疏视图下的物体姿态估计，成功消除了对CAD模型的需求。实验表明，SGPose在稀疏视图限制下超越了现有方法，展现出其在现实应用中的潜力。

Sep, 2024

本研究针对3D高斯绘制在新视图合成中对准确相机姿态依赖的限制进行了探讨。通过优化外部相机参数以最小化光度残差，提出了一种新的方法，使得在无需准确姿态信息的情况下快速重建3D场景。研究结果表明，该方法在真实场景中具有快速收敛和高精度，显著提升了新视图合成的效率与效果。

Oct, 2024

本研究针对无姿态图像的全新视图合成问题，提出了一种快速、可扩展且高质量的3D重建和视图合成框架。通过解决使用像素对齐的3D高斯溅射所带来的独特挑战，利用预训练的单目深度估计和视觉对应模型，改进了3D高斯的对齐方式，显著提升了重建质量和新视图合成效果。实验证明，PF3plat在各项基准测试中设立了新的最先进水平。

Oct, 2024