CVPRMay, 2019

通过自视角摄像头和加速度传感器数据实现人类自主活动分类

PDF
TL;DR本研究提出了一种基于惯性测量单元数据和自我视角摄像头提取的活动分类方法，通过胶囊网络和卷积长短时记忆框架提取特征和捕获行为的时间因素，并且使用基于遗传算法的方法自动系统地设置各种网络参数。实验证明，这种方法的综合准确度明显提高，可以更准确地对活动进行分类。
activity classificationimu dataegocentric camerascapsule networksgenetic algorithm
发现论文，激发创造
  • 卷积神经网络实现人类活动识别

    本文提出了使用卷积神经网络 (CNNs) 对人类活动进行分类的方法，该方法利用惯性传感器测量身体的加速度和角速度，并使用不同的神经网络结构适应运动信号，探究单个、双个和三个传感器系统的分类潜力，实验结果表明该方法具有很好的分类性能。

    Jun, 2019

  • 如何移动你的头就能说明你在做什么：使用自监督的第一人称摄像头和 IMU 传感器进行视频表征学习

    使用自监督学习来学习套接在 AR/VR 设备上内嵌的 IMU 传感器捕捉的人类和狗的视角视频获得的头部运动，以识别自传活动。

    Oct, 2021

  • 使用深度学习从自我中心图像预测日常活动

    使用深度学习技术和卷积神经网络来预测个人在日常生活中的活动，利用上下文信息（如时间和星期几）来提高分类准确性。

    Oct, 2015

  • 可穿戴传感器与视频数据捕捉用于人体运动分类的研究

    本文比较了基于惯性测量单元 (IMU) 和基于视频的方法在军事按压和划船运动的人体运动分类中的表现，发现单个摄像头能比单个 IMU 提高 10 个百分点的分类准确率，而至少需要 3 个 IMU 才能超越单个摄像头。同时，使用基于多变量时间序列分类器进行原始数据处理的方法优于基于手工特征或自动提取特征的传统方法。最后，将单个摄像头和单个 IMU 的数据组合起来能超越任一数据模态，为使用智能手机摄像头和单一传感器进行有效的人体运动分类开辟了新的、更现实的途径。

    Jul, 2023

  • 解码人类活动：分析可穿戴加速度计与陀螺仪数据进行活动识别

    基于 Residual 网络和 Residual MobileNet 集成的分层多结构方法（FusionActNet）能够有效地对不同的人类活动进行分类识别，并在 UCI HAR 和 Motion-Sense 数据集上取得了 96.71% 和 95.35% 的准确率。

    Oct, 2023

  • 多模态 Fisher 向量的自我中心活动识别

    本文介绍了一个基于 Wearable 设备的多模态自我中心活动识别数据集，其中提出了一种从传感器数据中提取时空轨迹特征的新颖策略，并应用 Fisher Kernel 框架融合视频和时空增强的传感器特征，实验结果表明，精心设计的特征提取和融合算法可以提高信息丰富的视频数据的质量。

    Jan, 2016

  • 紧凑型卷积神经网络用于自我中心视频索引

    本文提出了一种用于长期活动识别的紧凑型 3D 卷积神经网络（CNN）体系结构，通过使用稀疏光流体积作为输入，就能分类相机佩戴者的活动，从而实现了对非结构化第一人称视角视频的时间分割和分类，分类准确度达到 89％，并超过当前最先进技术 19％，此外还能识别视频是否为第一人称视角，准确度高达 99.2％，比当前最先进技术高 24％。

    Apr, 2015

  • 基于批处理的自拍照片流活动识别重访

    利用可穿戴相机的图像数据，结合卷积神经网络和递归神经网络的优点，提出了一种基于批量处理的系统来识别 21 种日常活动，准确率达 89.85％，优于现有的端到端方法。

    Oct, 2017

  • 利用不同深度学习架构进行穿戴设备和单摄像头视频的上肢活动识别比较研究

    通过计算机视觉和惯性测量单元 (IMU) 等广泛应用的技术以及最近在临床和研究环境中日益流行，来评估人体的身体活动。然而，为了增加患者在实验室外的跟踪可行性，有必要减少运动采集设备。在这方面，IMU 设备和单一摄像头系统是有希望的解决方案。此外，还需要开发能够在野外环境中识别和处理临床相关数据的机器学习系统，因此确定这些系统的理想输入至关重要。

    Feb, 2024

  • 传感器辅助的自我中心视频字幕生成与动态模态注意力

    本文提出了一种新的通过传感器增强的主观视频字幕生成任务，并提出了应用多模态数据和关注机制的方法，以提高主观视频字幕生成的效率。结果表明，使用传感器数据作为补充数据可以提高主观视频字幕生成的效率，并且我们提出的方法表现优于其他方法。

    Sep, 2021