Apr, 2015

紧凑型卷积神经网络用于自我中心视频索引

PDF
TL;DR本文提出了一种用于长期活动识别的紧凑型 3D 卷积神经网络（CNN）体系结构，通过使用稀疏光流体积作为输入，就能分类相机佩戴者的活动，从而实现了对非结构化第一人称视角视频的时间分割和分类，分类准确度达到 89％，并超过当前最先进技术 19％，此外还能识别视频是否为第一人称视角，准确度高达 99.2％，比当前最先进技术高 24％。
egocentric video3d cnnactivity recognitionoptical flowtemporal segmentation
发现论文，激发创造
  • 使用深度学习从自我中心图像预测日常活动

    使用深度学习技术和卷积神经网络来预测个人在日常生活中的活动，利用上下文信息（如时间和星期几）来提高分类准确性。

    Oct, 2015

  • 只需注意力：将物体中心注意力固定在自我中心活动识别中

    本研究提出一种基于深度神经网络模型的近场活动识别模型，其中使用了通过基于分类的 CNN 网络学习到的高度专业的注意力图，以及融合了空间和时间编码的卷积 LSTM 方法，从而实现了将原始视频级别标签用于弱监督学习。该模型具有较高的准确性。

    Jul, 2018

  • 深入探究第一人称活动识别

    本研究提出了一种双流网络架构，其中一个流分析外观信息，另一个流分析动作信息，并利用卷积神经网络在手势外观、对象属性、本地手势运动和相机自我运动等方面的知识信息，可以有效地提高第一人称视角下动作识别的准确率。

    May, 2016

  • 基于批处理的自拍照片流活动识别重访

    利用可穿戴相机的图像数据，结合卷积神经网络和递归神经网络的优点，提出了一种基于批量处理的系统来识别 21 种日常活动，准确率达 89.85％，优于现有的端到端方法。

    Oct, 2017

  • 多模态 Fisher 向量的自我中心活动识别

    本文介绍了一个基于 Wearable 设备的多模态自我中心活动识别数据集，其中提出了一种从传感器数据中提取时空轨迹特征的新颖策略，并应用 Fisher Kernel 框架融合视频和时空增强的传感器特征，实验结果表明，精心设计的特征提取和融合算法可以提高信息丰富的视频数据的质量。

    Jan, 2016

  • 通过自视角摄像头和加速度传感器数据实现人类自主活动分类

    本研究提出了一种基于惯性测量单元数据和自我视角摄像头提取的活动分类方法，通过胶囊网络和卷积长短时记忆框架提取特征和捕获行为的时间因素，并且使用基于遗传算法的方法自动系统地设置各种网络参数。实验证明，这种方法的综合准确度明显提高，可以更准确地对活动进行分类。

    May, 2019

  • 基于轨迹对齐的特征用于第一人称动作识别

    该研究旨在研究在第一人称视角下，如何准确识别行为。为此，提出了一种新颖的特征轨迹表示方法，并且使用所提出的方法在公开数据集上实现了 11% 的性能提升，该方法可以识别出佩戴者的各种行为，且不需要分割手 / 物体或识别物体 / 手的姿态。

    Apr, 2016

  • ECO: 在线视频理解的高效卷积神经网络

    本文提出了一种基于长期信息的网络架构，能够同时加快视频处理速度和提高动作分类和视频字幕质量，其采样策略利用邻近帧的冗余性能够高效地处理每秒多达 230 个视频，具有与现有方法相当的性能且快速度可达现有方法的 10 到 80 倍。

    Apr, 2018

  • 基于批处理的自拍照流活动识别

    本文研究利用深度学习，以图像流中的高级特征为基础识别佩戴式摄像机的运动，并弥补设备低帧率带来的连续帧之间的差异罅隙，从而提升了辅助技术应用中的活动识别效能。

    Aug, 2017

  • 增强的 3D 卷积神经网络用于人群计数

    本研究提出一种新的架构，称为 “时间通道感知” 块 (TCA)，它能够利用视频序列之间的时间关联，通过结合局部和全局上下文信息，提升特征表示的判别能力，实现更准确的人群计数等任务。实验证明，通过堆叠 TCA 块，所得到的改进的 3D 卷积神经网络 (E3D) 在多个基准数据集上具有优异的性能。

    Aug, 2019