通过使用 GaussianGrasper，可以利用 3D 高斯喷洒技术将场景明确地表示为一系列高斯原语，并通过语言指令使机器人能够准确查询和抓取对象，为语言引导的操作任务提供了新的解决方案。

Mar, 2024

在这篇论文中，我们提出了一种名为 ManiGaussian 的动态高斯斑点方法，用于多任务机器人操作，该方法通过未来场景重建来挖掘场景动态性。我们首先制定了动态高斯斑点框架，推断高斯嵌入空间中的语义传播，利用语义表示来预测最佳机器人动作。然后，我们建立了一个高斯世界模型来参数化我们的动态高斯斑点框架中的分布，通过未来场景重建在交互环境中提供信息化监督。我们在 10 个 RLBench 任务的 166 个变体上评估了 ManiGaussian，并且结果表明我们的框架在平均成功率上比现有最先进方法提高了 13.1%。

Mar, 2024

我们提出了一种新的稠密同时定位与建图（SLAM）方法，该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景，并通过提出新的策略来扩展高斯斑点的应用，使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外，我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量，同时在重建性能和运行时间方面具有竞争力。

Dec, 2023

本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

Nov, 2023

提出了一种新的运动感知增强框架，通过挖掘光流中的有用运动线索来改进动态场景重建，以提高不同动态 3D 高斯喷溅方式的性能，并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明，与基线相比，我们的方法在渲染质量和效率方面都表现出明显的优势。

Mar, 2024

基于高斯喷洒的稠密视觉同时定位与建图（VSLAM）引入了一种新的框架，通过独特地将先进的稀疏视觉里程计与稠密高斯喷洒场景表示相结合，从而消除了依赖于深度图的限制并增强了跟踪的稳健性。我们的系统在各种合成和真实数据集上的评估证明了其姿态估计的准确性超越了现有方法，达到了最先进的性能，并且在新颖视角合成保真度方面胜过以前的单目方法，与利用 RGB-D 输入的神经 SLAM 系统的结果相匹配。

May, 2024

通过使用 3D 高斯平铺方法，结合 LiDAR 和相机数据，本研究提出了一种新颖的系统用于 3D 制图和视觉重定位，能够创造环境的准确且逼真的表示。通过利用 LiDAR 数据来初始化 3D 高斯平铺地图的训练，本系统构建了既详细又几何精确的地图。通过组合 2D 体素地图和 KD 树，以减少 GPU 内存使用和实现快速空间查询，从而使我们的方法适用于视觉定位任务，并能够通过归一化交叉相关 (NCC) 在高斯平铺地图和查询图像之间高效地识别对应关系。此外，通过基于特征匹配和透视点（PnP）技术来细化查询图像的相机姿势。通过对 KITTI360 数据集的广泛评估，证明了我们系统的有效性、适应性和精确性。

Mar, 2024

LangSplat 构建了一个 3D 语言场，通过使用一组由 CLIP 鉴别的语言特征的 3D 高斯函数来表示，以支持 3D 空间内的高效开放词汇查询，相比于之前的方法，LangSplat 具有更高的性能表现。

Dec, 2023

准确的 3D 跟踪可以在机器人技术、增强现实和生成式人工智能方面推动新的应用。本研究引入了 MD-Splatting，一种用于在高度可变形场景中进行同时 3D 跟踪和新视角合成的方法。它通过学习一种变形函数来实现高质量的 3D 跟踪，并通过使用高斯重合法进行快速新视角合成。

Nov, 2023

基于 RGB 图像的城市场景的整体理解是一个具有挑战性但重要的问题，本文提出了一种利用三维高斯点云分布的新型管道，通过联合优化几何、外观、语义和动作，实现对城市场景的整体理解，并在实验证明了我们方法的有效性。

Mar, 2024