Mar, 2024

EgoLifter: 开放式 3D 自我中心感知的分割

PDF
TL;DREgoLifter 是一个能够将从自主传感器捕获的场景自动分割成个体三维物体的新型系统，采用 3D 高斯分布作为三维场景和物体的基础表示，并利用基于 Segment Anything 模型的分割掩模作为弱监督进行学习，以处理 egocentric 视频中的动态物体，并展示了在多个数据集上的优异性能。
发现论文，激发创造
  • EgoGaussian: 从第一人称视频中使用三维高斯喷射实现动态场景理解

    使用 EgoGaussian 方法，通过 RGB egocentric input 可以同时重建 3D 场景和动态跟踪 3D 物体运动，并在具有挑战性的自然环境中表现优于之前的方法。

    Jun, 2024

  • EgoHumans: 一种以自我为中心的三维多人基准测试

    提出了 EgoHumans 数据集，用于改进以往单人或仅局限于室内的 egocentric human 3D 姿势估计和跟踪算法，利用可穿戴相机配备的眼镜的多视角构建全面的 egocentric multi-human 数据集，并采用多流变压器体系结构和显式 3D 空间推理来估计和跟踪人体姿态。

    May, 2023

  • 用立体视觉进行语义化三维物体和自我运动跟踪，用于自动驾驶

    本文提出了一种基于立体视觉的方法，用于在动态自动驾驶情景下跟踪摄像机姿态和三维语义对象，该方法使用易于标注的二维检测和离散视点分类结合轻量级语义推理方法获取粗略的三维物体测量，并基于当前的物体感知相机姿态跟踪实现物体位置的估计与 3D 建模以获得精确度和时间一致性。

    Jul, 2018

  • 混合现实增强自我感知：自我中心臂部分割和带自动标注的数据库

    本研究旨在通过自我虚拟环境中基于深度学习的以自我为中心手臂分割技术来改善自我感知，我们提供了一个多种皮肤颜色和性别变化的自我手臂分割数据集，并与使用颜色或深度的现有方法进行了直接比较，结果表明，该数据集的适用性达到了 40% 的提高率，同时深度学习的手臂分割方法具有更强的鲁棒性。

    Mar, 2020

  • 基于 3D 地图的自我中心活动识别及定位

    提出了一种基于深度概率模型的方法，结合视角与环境信息，实现对运动轨迹和动作识别的 3D 场景理解与定位

    May, 2021

  • 从主观立体视频中感知 3D 人体姿势

    通过使用新的基于 transformer 模型的框架，结合场景信息和长时空上下文，利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态，并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。

    Dec, 2023

  • 混合现实中的自我中心人体分割

    本文提出一种使用语义分割网络从自我中心视频中分割人体部位的方法。方法包括使用半合成数据集和基于 ThunderNet 架构的深度学习语义分割算法，用于构建比标准虚拟化身更逼真的虚拟环境，实现对人体部位的高效分割。

    May, 2020

  • 自我中心的三维动作目标预测

    该研究旨在从自我中心视角预测人的物体操纵行为的目标位置。他们提出了一个包含 RGB-D 和 IMU 流的大型多模态数据集，并设计了使用递归神经网络的基线方法，并进行了各种消融研究以验证其有效性，从而证明该新任务值得进一步学习。

    Mar, 2022

  • 自我中心视听物体定位

    本文提出了一个几何感知的时间聚合模块和级联特征增强模块来解决显式处理自我运动和消除视角移动对音视觉定位的影响，并通过自我监督学习开发 Epic Sounding Object 数据集评估模型，证明了我们的方法在以人为中心的视频中取得了最先进的对象定位性能，并可以推广到不同的音视觉场景。

    Mar, 2023

  • 从自我中心视频中的三维场景中实例追踪

    借助自我中心传感器，本研究提出了一种新方法来解决三维视角下的物体实例追踪问题，并证明相比二维追踪方法，基于相机姿态和三维坐标的方法显著提高了追踪性能。

    Dec, 2023