May, 2019

以自我为中心的手部跟踪和基于对象的人类动作识别

PDF
TL;DR该论文研究了从第一人称视角获取图像和视频的发展趋势，采用图像识别和区域跟踪技术进行视觉场景中手的识别和动作的分类，表明使用区域兴趣描述视频的信息可以被依靠，来对与手有关的人体动作进行分类。
egocentric visionhuman action recognitionhand movementsobject detectionscene information
发现论文，激发创造
  • 基于轨迹对齐的特征用于第一人称动作识别

    该研究旨在研究在第一人称视角下，如何准确识别行为。为此，提出了一种新颖的特征轨迹表示方法，并且使用所提出的方法在公开数据集上实现了 11% 的性能提升，该方法可以识别出佩戴者的各种行为，且不需要分割手 / 物体或识别物体 / 手的姿态。

    Apr, 2016

  • 使用 2D 物体和手部姿态的自我视角人体动作识别

    本研究探索了使用二维手部姿态和物体姿态信息实现以自我为中心的动作识别的可行性，并使用最先进的基于 Transformer 的方法分类序列，并取得了 94% 的验证结果，这突出了二维手部和物体姿态信息在动作识别任务中的潜力，并为基于 3D 的方法提供了有前途的替代方案。

    Jun, 2023

  • 自我中心视角下手部分析：综述

    本文调查了多个已有的数据集与方法，致力于采用 'egocentric vision' 技术实现手部的定位、动作理解和人机交互，展示并提供了关于手部注释的突出数据集列表。

    Dec, 2019

  • 我的视角，我的双手：准确的自视角二维手势姿态和动作识别

    通过探索 2D 手势姿态评估用于自我中心动作识别的领域，我们提出了两种新方法：EffHandNet 用于单手姿态估计和 EffHandEgoNet 用于自我视角，捕捉手部与物体之间的交互。同时，我们提出了一个从 2D 手部和物体姿态的坚固的动作识别架构。通过在 H2O 和 FPHA 数据集上的评估，我们的架构具有更快的推断时间，并且分别达到了 91.32% 和 94.43% 的精度，超越了包括基于 3D 的方法在内的最先进的技术。

    Apr, 2024

  • 基于 3D 地图的自我中心活动识别及定位

    提出了一种基于深度概率模型的方法，结合视角与环境信息，实现对运动轨迹和动作识别的 3D 场景理解与定位

    May, 2021

  • 自我中心的三维动作目标预测

    该研究旨在从自我中心视角预测人的物体操纵行为的目标位置。他们提出了一个包含 RGB-D 和 IMU 流的大型多模态数据集，并设计了使用递归神经网络的基线方法，并进行了各种消融研究以验证其有效性，从而证明该新任务值得进一步学习。

    Mar, 2022

  • 自我视角在视角不变动作识别中的作用

    本文主要研究如何利用佩戴式摄像头所获得的数据进行行为识别。研究发现，使用卷积神经网络进行自我视角识别可以开辟行为识别领域的新研究视角。

    Jun, 2019

  • 头戴式增强现实设备的自我中心手势识别

    本文提出一种基于端到端深度学习方法，采用用于识别土生土长的姿势的时间分辨率特征的循环神经网络和用于找到土手特征的自我手编码器网络，结合绿色屏幕捕获的数据扩充技术来缓解地面真实性注释问题，从而实现了土心姿势识别的问题。

    Aug, 2018

  • 物体感知的自我中心在线动作检测

    通过整合特定于自我中心视频的先验知识到现有的在线行动检测框架中，我们引入了一个物体感知模块，以提高第一人称视频解释的场景理解和行动检测性能。

    Jun, 2024

  • 深入探究第一人称活动识别

    本研究提出了一种双流网络架构，其中一个流分析外观信息，另一个流分析动作信息，并利用卷积神经网络在手势外观、对象属性、本地手势运动和相机自我运动等方面的知识信息，可以有效地提高第一人称视角下动作识别的准确率。

    May, 2016