Jun, 2024

EgoGaussian: 从第一人称视频中使用三维高斯喷射实现动态场景理解

PDF
TL;DR使用 EgoGaussian 方法，通过 RGB egocentric input 可以同时重建 3D 场景和动态跟踪 3D 物体运动，并在具有挑战性的自然环境中表现优于之前的方法。
human-object interactionsegocentric data3d environmentsegogaussiandynamic interactions
发现论文，激发创造
  • OccGaussian：用于遮挡人体渲染的三维高斯粒子

    我们提出了基于 3D 高斯散射的 OccGaussian 方法，其可在 6 分钟内进行训练，并且以高质量 160FPS 渲染具有遮挡输入的人体场景。通过在标准空间中初始化 3D 高斯分布，并在遮挡区域进行遮挡特征查询，提取聚合的像素对齐特征来弥补丢失的信息，然后我们使用高斯特征 MLP 进一步处理特征，并结合面向遮挡区域的损失函数来更好地感知遮挡区域。大量的实验结果表明，我们的方法在模拟和真实世界遮挡场景中实现了与最先进方法相媲美甚至更优的性能，且训练和推理速度提高了 250 倍和 800 倍，我们的代码将提供给研究目的使用。

    Apr, 2024

  • EgoLifter: 开放式 3D 自我中心感知的分割

    EgoLifter 是一个能够将从自主传感器捕获的场景自动分割成个体三维物体的新型系统，采用 3D 高斯分布作为三维场景和物体的基础表示，并利用基于 Segment Anything 模型的分割掩模作为弱监督进行学习，以处理 egocentric 视频中的动态物体，并展示了在多个数据集上的优异性能。

    Mar, 2024

  • 猜测未见之物：从部分二维闪烁中动态三维场景重建

    通过单目视频输入的方法，本文提出了一种将世界和多个动态人物在 3D 中进行重构的方法，使用新兴的 3D 高斯涂布（3D-GS）表示法来表达世界和多个人物，解决了 3D 人物重构中常见的观测在 3D 空间中非常有限和稀疏的挑战，并演示了方法在各种具有挑战性的例子中可以重构出高质量的可动画 3D 人物，并且在重构后，该方法可以以任意时间片段渲染场景并编辑 3D 场景。

    Apr, 2024

  • 基于 3D 地图的自我中心活动识别及定位

    提出了一种基于深度概率模型的方法，结合视角与环境信息，实现对运动轨迹和动作识别的 3D 场景理解与定位

    May, 2021

  • ManiGaussian: 多任务机器人操作的动态高斯溅射

    在这篇论文中，我们提出了一种名为 ManiGaussian 的动态高斯斑点方法，用于多任务机器人操作，该方法通过未来场景重建来挖掘场景动态性。我们首先制定了动态高斯斑点框架，推断高斯嵌入空间中的语义传播，利用语义表示来预测最佳机器人动作。然后，我们建立了一个高斯世界模型来参数化我们的动态高斯斑点框架中的分布，通过未来场景重建在交互环境中提供信息化监督。我们在 10 个 RLBench 任务的 166 个变体上评估了 ManiGaussian，并且结果表明我们的框架在平均成功率上比现有最先进方法提高了 13.1%。

    Mar, 2024

  • 高保真单目动态场景重建的可变形三维高斯模型

    提出了一个使用可变形的 3D 高斯散射方法对动态场景进行重建和渲染，在实时渲染的速度和渲染质量方面优于现有方法。

    Sep, 2023

  • 运动感知的高斯点云成型在高效动态场景重建中的应用

    提出了一种新的运动感知增强框架，通过挖掘光流中的有用运动线索来改进动态场景重建，以提高不同动态 3D 高斯喷溅方式的性能，并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明，与基线相比，我们的方法在渲染质量和效率方面都表现出明显的优势。

    Mar, 2024

  • HUGS: 通过高斯分布点绘制进行城市环境全面三维场景理解

    基于 RGB 图像的城市场景的整体理解是一个具有挑战性但重要的问题，本文提出了一种利用三维高斯点云分布的新型管道，通过联合优化几何、外观、语义和动作，实现对城市场景的整体理解，并在实验证明了我们方法的有效性。

    Mar, 2024

  • 高斯体：三维高斯板片的衣着人物重建

    本研究提出了一种名为 GaussianBody 的新型服装人体重建方法，基于 3D 高斯散射模型。该方法通过显式姿势引导形变，引入基于物理的先验知识和正则化变换来解决动态人体重建过程中的非刚性变形和丰富的服装细节等问题。实验证明，该方法在动态穿着服装的人体重建方面能够实现最先进的逼真视角渲染效果，同时还能明确地重建几何结构。

    Jan, 2024

  • Event3DGS: 快速自运动的事件驱动 3D 高斯点插值

    通过利用事件相机的高时间分辨率和显式的基于点的表示，Event3DGS 可以在快速自我运动下仅根据事件流重建高保真度的 3D 结构，并通过稀疏感知的采样和渐进训练方法获得更好的重建质量和一致性，同时通过将运动模糊形成过程显式地结合到可微分的光栅化器中，通过有限的一组模糊的 RGB 图像来改善外观。大量实验证明，与现有方法相比，Event3DGS 具有卓越的渲染质量，并且训练时间减少了 95％以上，并且在渲染速度上具有数量级的提升。

    Jun, 2024