基于 3D 高斯扩散的新视角合成方法在各种场景下表现出了良好的性能，本文提出了一种高效的基于点的可微渲染框架，用于从照片集合中重建场景，通过引入基于残差的球谐系数传输模块，将 3D 高斯扩散方法适应于不同的光照条件和光度后处理，同时引入了一个轻量级的空间注意力模块，可同时预测暂时遮挡物和隐含外观表示，实验结果表明，该方法在新视角和外观合成的渲染质量上优于现有方法，并拥有较高的收敛速度和渲染速度。

Jun, 2024

Wild-GS 是一种针对无约束的照片集合进行优化的 3D 高斯粒子着色方法，它通过将引用视图的像素外观特征与相应的局部高斯进行对齐来有效地将高频细节的外观传输到 3D 空间，并在训练和推断中实现了最高的渲染性能和效率。

Jun, 2024

探究结合盲音频录音和 3D 场景信息对新视角声学合成的益处。通过 2-4 个麦克风的音频录音和包含多个未知声源的场景的 3D 几何学和材料，估计场景中的任何声音。我们确定了新视角声学合成的主要挑战，即声源定位、分离和去混响。虽然简单地训练端到端网络不能产生高质量的结果，但我们证明了融入从 3D 重建房间导出的房间脉冲响应（RIRs）使得相同的网络能够统一解决这些任务。我们的方法优于针对各个任务设计的现有方法，证明其在利用 3D 视觉信息方面的有效性。在 Matterport3D-NVAS 数据集上的模拟研究中，我们的模型在源定位方面实现了接近完美的准确性，源分离和去混响方面的 PSNR 为 26.44 dB 和 SDR 为 14.23 dB，从而在新视角声学合成方面获得了 PSNR 为 25.55 dB 和 SDR 为 14.20 dB 的结果。项目网页提供了代码、预训练模型和视频结果。

Oct, 2023

通过学习高保真度的 4D 高斯点云分割场景表征，自校准相机参数，以及联合优化相机参数和 3D 结构，我们的方法在 4D 新视图合成方面展现出了显著的改进。

Jun, 2024

用新颖的方法结合扩散模型和多模态数据以提高三维高斯飞溅对未见视角的渲染效果，有效增强了自动驾驶模拟中街景的新视角合成技术。

Mar, 2024

本文提出了一种基于 Audio Visual Scene Graph Segmenter (AVSGS) 的深度学习模型，通过嵌入场景的视觉结构，并将其分割为子图，实现音频源分离；同时，介绍了一个全新的数据集 Audio Separation in the Wild (ASIW)，证明了该方法在音源分离方面的卓越表现。

Sep, 2021

Scaffold-GS 方法使用锚点在视场内基于视线方向和距离动态分布局部的 3D Gaussians，有效地减少冗余的 Gaussians，同时能够实现高质量渲染。

Nov, 2023

提出了基于 3D 高斯喷砂的少样本视角合成方法，通过高效地合成视图实现实时和照片般逼真的视角合成，方法称为 FSGS，通过设计精巧的高斯解卷积处理稀疏初始化的 SfM 点，通过分布新的高斯函数填补空白区域中的局部细节，在高斯优化过程中整合大规模预训练的单眼深度估计器，通过在线增强视图引导几何优化达到最优解，FSGS 在包括 LLFF、Mip-NeRF360 和 Blender 在内的各种数据集上实现了最先进的性能，包括准确性和渲染效率。

Dec, 2023

我们介绍了一种新颖的方法，可以从单目捕捉中进行动态自由视图合成，为观看体验带来沉浸感。我们的方法基于对复杂静态场景进行忠实重建的 3D 高斯点插值（3DGS）的最新进展。通过利用环境动力学的周期性来学习运动轨迹模型，并结合谨慎的正则化来克服以往将 3DGS 扩展到表示动态时遇到的局限性，这些局限性包括仅适用于有界场景或需要多摄像机捕捉，并且通常无法推广到未见过的运动，限制了它们的实际应用。我们还提出了一些重要的实用策略，以提高基线 3DGS 静态重建的视觉质量，并提高 GPU 内存密集学习的内存效率，展示了多个环境自然场景的高质量照片逼真的新视图合成，其中包含复杂的纹理和精细的结构元素。

Jun, 2024

MVSGaussian 是一种新的通用化的三维高斯表示方法，通过多视点立体视觉 (MVS) 有效重建未见过的场景，具有实时渲染速度和良好的综合质量。

May, 2024