Mar, 2024

基于超图的多视角动作识别使用事件摄像机

PDF
TL;DR多视角基于事件的行为识别框架 HyperMV 在多视角事件数据利用方面填补了现有研究的差距，并引入了最大的多视角基于事件的行为数据集 THU-MV-EACT-50，通过实验结果证明 HyperMV 在跨主体和跨视角情况下明显优于基线模型，同时在基于帧的多视角行为识别方面超越了现有的技术水平。
发现论文，激发创造
  • EventTransAct：基于视频变换器的基于事件摄像机的动作识别框架

    本研究旨在通过使用事件相机进行行为识别，提出了一种基于视频变换网络和事件对比损失的计算高效模型。该模型在真实世界中的行为识别任务中表现出卓越性能，并且相较于其他方法具有更低的计算时间，适用于基于事件相机的行为识别应用。

    Aug, 2023

  • 通过超网络提高基于事件的视频重建的性能

    本研究提出了一种基于动态神经网络架构的事件重建算法 HyperE2VID，使用超网络和动态卷积生成自适应滤波器，并结合上下文融合模块，以从事件体素网格和先前重建的强度图像中获得信息，采用课程式学习策略来训练网络，实验结果表明，HyperE2VID 具有更好的重建质量，参数更少，推理时间更短。

    May, 2023

  • 人体动作识别的多视点室外数据集

    该论文提供了一个从多个角度观测人类行为的数据集，并在两流卷积神经网络结构配合核排名汇总的方法下获得了 74.0% 的动作识别准确率。

    Oct, 2021

  • E$^2$(GO) MOTION：一种用于第一视角动作识别的动作增强事件流技术

    本文提出了利用事件相机数据进行自我中心行为识别的两种策略，并将其应用于首个基于事件相机的视频数据集，结果表明，事件数据不仅可在不需要流计算的情况下提供与 RGB 和光流同等的性能，而且相比仅使用 RGB 信息提高了 4％的表现。

    Dec, 2021

  • DVANet：多视角行为识别中视角和动作特征的解耦合

    提出一种新颖的多视图动作识别方法，通过可学习的变换器解码查询和两个监督对比损失将学习到的动作特征与视图信息分离，从而显著提高了多视图动作识别的性能。

    Dec, 2023

  • 多路动作建模和互信息最大化的动作识别

    本文通过提出一种加速度表示，引入新颖的流式图卷积神经网络以及特征级监督，提高了行动识别的精度并在三个基准数据集上实现了新的最佳性能。

    Jun, 2023

  • 基于传感器的人体动作识别的多视角融合变压器

    本文介绍了一种新方法，即多视图融合变压器（MVFT），通过编码时间视图、频繁视图和统计视图来生成多视图特征，并提出一种新的注意机制以揭示细节关系建模。实验表明，该方法比几种最先进的方法更优异。

    Feb, 2022

  • E2HQV：通过理论启发的模型辅助深度学习从事件相机生成高质量视频

    提出了一种名为 E2HQV 的新型 E2V 范例，该范例利用了模型辅助的深度学习框架，从基于事件相机的基本成像原理中精心推导出的理论驱动的 E2V 模型，以及为了进一步提高视频帧质量而设计的时间偏移嵌入模块。对真实世界事件相机数据集的综合评估验证了我们的方法的有效性，E2HQV 在一些评估指标上超过了其他最先进的方法超过 40%。

    Jan, 2024

  • 基于群体骨架的复杂事件中的人类行为识别

    本文介绍了基于多人骨骼的人类动作识别的新方法，利用多尺度时空图卷积网络提取骨骼特征，用多层感知器嵌入参考人和其他人之间的距离值，并通过特征融合和分类得出在 HiEve 数据集上超越其他技术的最佳性能。

    Nov, 2020

  • MVFNet: 高效视频识别的多视角融合网络

    本文提出了一种基于 2D CNN 骨干网络的新的多视图融合（MVF）模块，用于视频动作识别中的时空建模，并利用可分离卷积实现了高效处理，实验结果表明，该方法在不降低识别精度的情况下降低了模型复杂度。

    Dec, 2020