FMGS: 嵌入式基础模型的整体三维高斯重叠投射用于全景三维场景理解

Jan, 2024

FMGS: 嵌入式基础模型的整体三维高斯重叠投射用于全景三维场景理解

FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding

Xingxing Zuo, Pouya Samangouei, Yunwen Zhou, Yan Di, Mingyang Li

TL;DR通过将视觉语言嵌入模型与三维高斯喷洒算法相结合，本研究提出了一种高效的三维视觉语言模型重建方法，通过渲染从三维模型生成的特征映射，实现了高质量的渲染和快速训练，并引入了像素对齐损失来保证渲染的语义一致性，取得了显著的多视图语义一致性，为增强对无控制的现实环境中场景的理解铺平了道路。

Abstract

Precisely perceiving the geometric and semantic properties of real-world 3D objects is crucial for the continued evolution of augmented reality and robotic applications. To this end, we present \algfull{} (\algname{}), which incorporates vision-language embeddings of foundation models into 3D Gaussian Splatting (GS). The key contribution of this work is an e

3d vision-language models gaussian splatting scene representation pixel alignment loss open-vocabulary language-based object detection

发现论文，激发创造

通过 3D 高斯填充直接学习网格和外观

通过将不同可分辨外观模型与显式几何表示相结合，我们提出了一种可学习的场景模型，用于准确重构包含显式几何信息的三维场景，实验结果表明，该模型不仅在渲染质量方面达到了最新水平，而且还支持使用显式网格进行操作，并且具有适应场景更新的独特优势。

May, 2024

3D-HGS: 三维半高斯飘带

基于神经渲染技术，本研究提出了一种使用 3D Half-Gaussian 核的方法，以改进当前 3D Gaussian splatting 方法的性能，在不影响渲染速度的情况下，在多个数据集上获得了最先进的渲染性能。

Jun, 2024

GS-SLAM：带有 3D 高斯点图的密集视觉 SLAM

本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

Nov, 2023

SAGS：结构感知的三维高斯投影

提出了一种能够隐式编码场景几何结构的结构感知高斯喷洒方法 (SAGS)，通过基于本地 - 全局图表示促进复杂场景的学习并强制保持场景几何的有意义的点位移，与现有的 3D-GS 方法相比，在渲染质量和模型大小两方面都展现出卓越的性能，能够有效减轻之前方法的浮点和图像失真问题，并获得精确的深度图。

Apr, 2024

语义高斯：基于 3D 高斯点云绘制的开放词汇场景理解

基于 3D 高斯喷斑的新型开放词汇场景理解方法，通过提取预训练的 2D 语义学习特征，将其融入 3D 高斯成分，并构建 3D 高斯语义网络用于快速推断，实现了在 ScanNet-20 上对语义分割的改进、对物体部分分割、场景编辑以及时空分割的多样性支持和优越性。

Mar, 2024

SA-GS：基于语义感知的高斯点渲染用于带有几何约束的大场景重构

采用语义感知的 3D 高斯斑点，提出了一种新的方法 SA-GS 用于细粒度的 3D 几何重建，并在大规模场景重建数据集上展示了其卓越性能。

May, 2024

基于网格的高斯映射在实时大规模变形中的应用

通过创新的基于网格的高斯喷洒（GS）表示方法，在保持高质量渲染结果的同时，实现了高质量的重构和有效的变形，每秒平均 65 帧。

Feb, 2024

WE-GS: 无约束照片集的野外高效 3D 高斯表示

基于 3D 高斯扩散的新视角合成方法在各种场景下表现出了良好的性能，本文提出了一种高效的基于点的可微渲染框架，用于从照片集合中重建场景，通过引入基于残差的球谐系数传输模块，将 3D 高斯扩散方法适应于不同的光照条件和光度后处理，同时引入了一个轻量级的空间注意力模块，可同时预测暂时遮挡物和隐含外观表示，实验结果表明，该方法在新视角和外观合成的渲染质量上优于现有方法，并拥有较高的收敛速度和渲染速度。

Jun, 2024

Fed3DGS：基于联邦学习的可扩展三维高斯投射

Fed3DGS 是一个基于 3D 高斯喷洒（3DGS）与联邦学习的可扩展三维重建框架，其采用分散式架构并利用数以百万计的客户端上的分布式计算资源，通过定制的蒸馏模型更新方案和外观建模技术来处理非独立同分布数据，在大规模基准测试中呈现出与集中式方法相当的图像质量，并能捕捉到由季节变化引起的场景变化。

Mar, 2024

HUGS: 通过高斯分布点绘制进行城市环境全面三维场景理解

基于 RGB 图像的城市场景的整体理解是一个具有挑战性但重要的问题，本文提出了一种利用三维高斯点云分布的新型管道，通过联合优化几何、外观、语义和动作，实现对城市场景的整体理解，并在实验证明了我们方法的有效性。

Mar, 2024