ECCVMar, 2022

FAR: Fourier 高空视频识别

PDF
TL;DR本文介绍了一种针对无人机视频活动识别的算法，名为 Fourier Activity Recognition（FAR），它使用一种新颖的傅里叶对象分离方法，在频域操作以表征空间像素的时间变化程度，并利用傅里叶变换的卷积乘法特性将该表示映射到网络获得的对应的物体背景缠绕特征上，以提取人类活动目标的信息，并通过引入新颖的傅里叶注意力机制，对长期时空关系进行建模，从而达到更好的效果。经评估，该方法在多个 UAV 数据集上实现了 8.02% 至 38.69% 的相对准确度提高以及高达三倍的处理速度提升。
发现论文，激发创造
  • 基于传感器的人体动作识别的多视角融合变压器

    本文介绍了一种新方法，即多视图融合变压器（MVFT），通过编码时间视图、频繁视图和统计视图来生成多视图特征，并提出一种新的注意机制以揭示细节关系建模。实验表明，该方法比几种最先进的方法更优异。

    Feb, 2022

  • 嵌入式无人机实时空中检测与推理

    提出一种统一的流水线架构，用于 UAV 上的嵌入式系统的实时检测系统，可在自主勘测和活动报告等 UAV 应用中利用领域特定知识进行空中行人检测和活动识别。

    May, 2023

  • 使用级联双注意力 CNN 和双向 GRU 框架的人体运动识别

    本文提出了一种空间 - 时间级联框架，利用深度学习算法提取人类活动的深入特征，并使用双向 Gated 循环单元进行长期时间建模和人类行为识别。实验结果表明，该方法与现有算法相比在帧每秒的执行时间方面提高了最多 167 倍。

    Aug, 2022

  • 基于时间序列分析的 U-Net 人体活动识别

    本文提出了一种基于 U-Net 的 HAR 算法，通过将加速度计的活动数据映射为具有单像素列和多通道的图像输入到神经网络进行训练和识别，从而实现像素级姿态识别，无需手动特征提取，能够有效识别长期活动序列中的短期行为，与其他六种机器学习方法相比，该算法在各数据集中具有最高的准确性和 F1 得分，并具有稳定表现和高鲁棒性，同时实现了快速识别速度。

    Sep, 2018

  • 超出独立帧：通过帧内和帧间注意力增强基于传感器的人体活动识别

    人体活动识别（HAR）越来越受到普适计算的欢迎，受可穿戴传感器在医疗保健和运动等领域的流行推动。本文提出了一种内部和外部帧关注模型，用于解决 ConvNets 通常采用逐帧分析的问题，可能忽视人类活动中固有的更广泛的时间动态。我们进一步通过提出一种新颖的时间序列批量学习策略丰富了时间理解。这种学习策略在每个批处理中保留时间序列数据的时间顺序，确保传感器基础 HAR 中时间模式的连续性和完整性。

    May, 2024

  • 视频分割和识别的端到端生成框架

    本研究提出了一种基于 Fisher 向量和时间模型相结合的端到端生成式方法来实现人类活动的分割和识别，其适用于各种视频数据集并且优于现有的最先进方法。

    Sep, 2015

  • 三流网络用于增强动作识别

    该论文提出了两种基于 CNN 的体系结构，包括三种流，可以分别捕捉不同速率的空间和时间信息，并使用双向 LSTM 和注意力机制进一步提高模型性能，实现了人类动作识别任务的最先进表现。

    Apr, 2021

  • UAV-Human: 一项利用无人机进行人类行为理解的大型基准测试

    本文介绍一种新的基于无人机的人类行为理解基准测试方法 (UAVHuman)，其中包含超过 67000 多模态视频序列和 119 个被试进行动作识别、22476 帧进行姿态估计、41290 帧和 1144 个身份进行人员重识别，以及 22263 帧进行属性识别。并且我们提出了一种鱼眼视频驱动的动作识别方法，通过学习受平面 RGB 视频引导的无界变换来减轻鱼眼视频中的失真。

    Apr, 2021

  • 单运动相机飞行物体检测

    提出了一种基于回归的运动稳定方法，旨在检测被拍摄的机动飞行器在复杂背景中移动的情况，该方法在运动与外观两方面共同作用下可以对比先进技术更有效地运用时空图像块进行分类，并通过收集两个具有挑战性的数据集为飞行物体检测和视觉引导式避碰创建基准。

    Nov, 2014

  • MuJo：人体活动识别的多模态联合特征空间学习

    通过多模态对比预训练方法 MuJo，利用视频、语言、姿势和 IMU 传感器数据，改善了不同模态下的人类活动识别性能，在 MM-Fit 数据集上达到了令人印象深刻的宏平均 F1-Score 为 0.992 和 0.999 的分类效果，同时展示了最高达 0.638 的泛化性能。

    Jun, 2024