Mar, 2024

ManiGaussian: 多任务机器人操作的动态高斯溅射

PDF
TL;DR在这篇论文中，我们提出了一种名为 ManiGaussian 的动态高斯斑点方法，用于多任务机器人操作，该方法通过未来场景重建来挖掘场景动态性。我们首先制定了动态高斯斑点框架，推断高斯嵌入空间中的语义传播，利用语义表示来预测最佳机器人动作。然后，我们建立了一个高斯世界模型来参数化我们的动态高斯斑点框架中的分布，通过未来场景重建在交互环境中提供信息化监督。我们在 10 个 RLBench 任务的 166 个变体上评估了 ManiGaussian，并且结果表明我们的框架在平均成功率上比现有最先进方法提高了 13.1%。
发现论文，激发创造
  • 高斯抓取器：面向开放词汇的 3D 语义高斯点云描绘机器人抓取

    通过使用 GaussianGrasper，可以利用 3D 高斯喷洒技术将场景明确地表示为一系列高斯原语，并通过语言指令使机器人能够准确查询和抓取对象，为语言引导的操作任务提供了新的解决方案。

    Mar, 2024

  • EgoGaussian: 从第一人称视频中使用三维高斯喷射实现动态场景理解

    使用 EgoGaussian 方法，通过 RGB egocentric input 可以同时重建 3D 场景和动态跟踪 3D 物体运动，并在具有挑战性的自然环境中表现优于之前的方法。

    Jun, 2024

  • 高保真单目动态场景重建的可变形三维高斯模型

    提出了一个使用可变形的 3D 高斯散射方法对动态场景进行重建和渲染，在实时渲染的速度和渲染质量方面优于现有方法。

    Sep, 2023

  • DrivingGaussian: 周围动态自动驾驶场景的复合高斯喷洒

    DrivingGaussian 是一个高效而有效的框架，用于重建自主驾驶场景中的动态环境，通过顺序和渐进地建模静态背景，并利用动态高斯图来处理多个移动物体，在场景中恢复每个物体的准确位置和遮挡关系。使用 LiDAR 和高斯喷洒方法进行重建，该方法在驾驶场景重建中优于现有的方法，实现了高逼真度和多相机一致性的全景合成。

    Dec, 2023

  • SWAGS：自适应采样窗口的动态 3D 高斯散点

    使用 3D 高斯喷洒法重构动态场景，通过可调整的多层感知器（MLP）模型将场景的动态部分与静态部分分离，引入自适应窗口采样策略和自监督一致性损失来实现场景的时域一致性和高质量的可视化，达到了与竞争性能的动态场景高品质实时渲染。

    Dec, 2023

  • 高斯 - SLAM：基于高斯投射的高清稠密 SLAM

    我们提出了一种新的稠密同时定位与建图（SLAM）方法，该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景，并通过提出新的策略来扩展高斯斑点的应用，使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外，我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量，同时在重建性能和运行时间方面具有竞争力。

    Dec, 2023

  • Splat-MOVER: 多阶段开放词汇机器人操纵通过可编辑高斯 Splating

    Splat-MOVER 是一个模块化机器人软件框架，利用高斯分层表示法（GSplat）的可编辑性，实现多阶段机器人操作任务。

    May, 2024

  • HumanGaussian：基于文本驱动的高斯点绘制的 3D 人体生成

    基于文本提示生成真实的 3D 人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架 HumanGaussian，通过结构感知的 SDS 和退火负向提示引导，以及适应性高斯喷洒渲染器，在细节和训练时间方面取得了优越的性能。

    Nov, 2023

  • SC-GS：用于可编辑动态场景的稀疏控制高斯喷洒

    基于高斯散开技术的稀疏控制点和稠密高斯的运动与外观分解，用于动态场景的新视角合成。

    Dec, 2023

  • 具有通用高斯喷洒的强化学习

    通过在 RoboMimic 环境中验证，本研究提出一个名为 GSRL 的创新广义高斯喷洒框架作为强化学习任务的表征，相比基线方法在多个任务上提高了 10％，44％和 15％的性能，是首次尝试将可泛化的 3DGS 作为强化学习的表征。

    Mar, 2024