CVPRMay, 2016

通过第一人称视角学习大环境的行动地图

PDF
TL;DR本研究旨在通过将行为演示与环境属性相结合，使用 egocentric 相机，通过学习和预测行动地图，自动估计大型场景中的功能。同时，我们展示了行动地图的潜在应用，通过与活动检测结合，实现定位等应用。
functional understandingactivity demonstrationsaction mapsegocentric cameraenvironmental attributes
发现论文，激发创造
  • 基于 3D 地图的自我中心活动识别及定位

    提出了一种基于深度概率模型的方法，结合视角与环境信息，实现对运动轨迹和动作识别的 3D 场景理解与定位

    May, 2021

  • 移动机器人操作的空间动作地图

    本文研究机器人导航中的动作表示，提出了 “空间动作地图” 概念，使用卷积神经网络从状态图像推断出空间动作地图，从而显著加快了使用强化学习方法实现移动操作任务的复杂行为的学习

    Apr, 2020

  • 自我中心的三维动作目标预测

    该研究旨在从自我中心视角预测人的物体操纵行为的目标位置。他们提出了一个包含 RGB-D 和 IMU 流的大型多模态数据集，并设计了使用递归神经网络的基线方法，并进行了各种消融研究以验证其有效性，从而证明该新任务值得进一步学习。

    Mar, 2022

  • EGO-TOPO: 从自我中心视频中提取环境能力

    通过学习人类源动作，我们引入了一种从第一人称视频中直接学习物理空间环境能力的模型，该模型将空间分解为基于活动的拓扑图，并展示了如何跨多个相关环境链接区域以获得其功能性的整合表示。我们在实验中展示了学习场景能力预测未来操作的方法。

    Jan, 2020

  • 使用 Affordance Map 学习移动

    本文提出了一种基于自监督学习的模块化方法，该方法将传统的几何规划与学习空间场景表示相结合，以实现对动态对象和语义约束进行自主探索和导航。在基于 VizDoom 的仿真环境中得到了验证。

    Jan, 2020

  • Chat2Map：多自我对话中高效的场景映射

    利用多个自我视角的、来自多方的对话视频，结合深度强化学习的方法，高效地构建出未知 3D 环境的地图，达到了出色的性价比，优于以往最先进的方法。

    Jan, 2023

  • 利用多任务学习提升自我中心行为识别

    本文提出了一种使用多任务学习的方法，通过并行训练网络来提高动作识别的准确率，并同时实现手部和凝视估计的辅助任务。在多个数据集上的实验证明，该方法在动作识别上的性能明显优于单任务学习模型，并可以准确预测手部和凝视位置。

    Sep, 2019

  • 以自我为中心的手部跟踪和基于对象的人类动作识别

    该论文研究了从第一人称视角获取图像和视频的发展趋势，采用图像识别和区域跟踪技术进行视觉场景中手的识别和动作的分类，表明使用区域兴趣描述视频的信息可以被依靠，来对与手有关的人体动作进行分类。

    May, 2019

  • 基于轨迹对齐的特征用于第一人称动作识别

    该研究旨在研究在第一人称视角下，如何准确识别行为。为此，提出了一种新颖的特征轨迹表示方法，并且使用所提出的方法在公开数据集上实现了 11% 的性能提升，该方法可以识别出佩戴者的各种行为，且不需要分割手 / 物体或识别物体 / 手的姿态。

    Apr, 2016

  • 动作场景图：针对自视角视频的长篇理解

    我们提出了 Egocentric Action Scene Graphs (EASGs)，一种用于理解视角视频的长篇形式的新表示。通过提供相机佩戴者执行的动作、互动对象及其关系以及动作在时间上的展现的时间演变基于图的描述，EASGs 扩展了 egocentric 视频的标准手动注释表示。通过一种新的注释过程，我们通过添加手动标注的 Egocentric Action Scene Graphs 扩展了 Ego4D 数据集，为长篇理解的 egocentric 视频提供了丰富的注释。因此，我们定义了 EASG 生成任务并提供了一种基准方法，建立了初步的基准。针对两个下游任务（egocentric action anticipation 和 egocentric activity summarization）的实验突出了 EASGs 在长篇 egocentric 视频理解方面的有效性。我们将发布数据集和代码以复现实验和注释。

    Dec, 2023