Jan, 2016

多模态 Fisher 向量的自我中心活动识别

PDF
TL;DR本文介绍了一个基于 Wearable 设备的多模态自我中心活动识别数据集，其中提出了一种从传感器数据中提取时空轨迹特征的新颖策略，并应用 Fisher Kernel 框架融合视频和时空增强的传感器特征，实验结果表明，精心设计的特征提取和融合算法可以提高信息丰富的视频数据的质量。
egocentric activity recognitionwearable devicesmultimodal egocentric activity datasettemporal trajectory-like featuresfisher kernel framework
发现论文，激发创造
  • 基于增强多核学习的第一人称活动识别

    本文提出了一种基于数据驱动的框架来选择和组合一些特征及其核，在第一人称视角的活动识别中，采用多核学习 (MKL) 和基于 MKL 的 Boosted MKL 方法能够有效提高识别效果。

    Feb, 2017

  • WEAR：可穿戴设备和自我中心视角视频活动识别的多模态数据集

    本文介绍了一个用于人类活动识别的多模态基准数据集 WEAR，其中包括了视觉和可穿戴设备的数据，有效地提高了各种算法的性能表现。此外，我们还展示了基于 Transformer 的视频动作检测模型在惯性和多模态人类活动识别方面的可行性，这是第一次使用此方法进行探索。

    Apr, 2023

  • 紧凑型卷积神经网络用于自我中心视频索引

    本文提出了一种用于长期活动识别的紧凑型 3D 卷积神经网络（CNN）体系结构，通过使用稀疏光流体积作为输入，就能分类相机佩戴者的活动，从而实现了对非结构化第一人称视角视频的时间分割和分类，分类准确度达到 89％，并超过当前最先进技术 19％，此外还能识别视频是否为第一人称视角，准确度高达 99.2％，比当前最先进技术高 24％。

    Apr, 2015

  • 通过自视角摄像头和加速度传感器数据实现人类自主活动分类

    本研究提出了一种基于惯性测量单元数据和自我视角摄像头提取的活动分类方法，通过胶囊网络和卷积长短时记忆框架提取特征和捕获行为的时间因素，并且使用基于遗传算法的方法自动系统地设置各种网络参数。实验证明，这种方法的综合准确度明显提高，可以更准确地对活动进行分类。

    May, 2019

  • 基于批处理的自拍照片流活动识别重访

    利用可穿戴相机的图像数据，结合卷积神经网络和递归神经网络的优点，提出了一种基于批量处理的系统来识别 21 种日常活动，准确率达 89.85％，优于现有的端到端方法。

    Oct, 2017

  • 视频分割和识别的端到端生成框架

    本研究提出了一种基于 Fisher 向量和时间模型相结合的端到端生成式方法来实现人类活动的分割和识别，其适用于各种视频数据集并且优于现有的最先进方法。

    Sep, 2015

  • 基于轨迹对齐的特征用于第一人称动作识别

    该研究旨在研究在第一人称视角下，如何准确识别行为。为此，提出了一种新颖的特征轨迹表示方法，并且使用所提出的方法在公开数据集上实现了 11% 的性能提升，该方法可以识别出佩戴者的各种行为，且不需要分割手 / 物体或识别物体 / 手的姿态。

    Apr, 2016

  • 使用深度学习从自我中心图像预测日常活动

    使用深度学习技术和卷积神经网络来预测个人在日常生活中的活动，利用上下文信息（如时间和星期几）来提高分类准确性。

    Oct, 2015

  • 基于传感器的人体动作识别的多视角融合变压器

    本文介绍了一种新方法，即多视图融合变压器（MVFT），通过编码时间视图、频繁视图和统计视图来生成多视图特征，并提出一种新的注意机制以揭示细节关系建模。实验表明，该方法比几种最先进的方法更优异。

    Feb, 2022

  • Ego-Exo4D: 理解高技能人类活动的第一人称和第三人称视角

    我们提出了 Ego-Exo4D，这是一个多样化、大规模的多模态多视图视频数据集和基准挑战。Ego-Exo4D 集中于同时捕捉到的技能人类活动（例如，体育运动、音乐、舞蹈、自行车修理）的自我中心和外部视角视频，通过来自全球 13 个城市的 800 多名参与者在 131 个不同的自然场景环境中进行了这些活动，每个活动的长时间录制为 1 到 42 分钟不等，总共获得了 1,422 小时的视频。该数据集具有前所未有的多模态特性：视频伴随着多通道音频、眼动数据、3D 点云、相机姿态、IMU 数据以及多个配对的语言描述，包括由教练和教师进行的针对技能活动领域的新颖的 “专家评论”。为了推进对技能人类活动的第一人视角视频理解的研究前沿，我们还提出了一系列基准任务及其标注，包括细粒度活动理解、熟练度估计、跨视角转换和 3D 手 / 身体姿态。所有资源将以开源方式提供，以促进社区中的新研究。

    Nov, 2023