Aug, 2023

EventTransAct：基于视频变换器的基于事件摄像机的动作识别框架

PDF
TL;DR本研究旨在通过使用事件相机进行行为识别，提出了一种基于视频变换网络和事件对比损失的计算高效模型。该模型在真实世界中的行为识别任务中表现出卓越性能，并且相较于其他方法具有更低的计算时间，适用于基于事件相机的行为识别应用。
event camera action recognitionvideo transformer networkevent-contrastive lossaction recognitionevent-camera based action recognition
发现论文，激发创造
  • 视频变形网络

    本文提出了一种基于 Transformer 的视频识别框架 VTN，它相比于传统的 3D ConvNets，通过整个视频序列的注意力机制实现动作分类，并在训练和推断时分别快 16.1 倍和 5.1 倍，同时在 Kinetics-400 数据集上获得了有竞争力的结果，表明了精度和推断速度之间的权衡。

    Feb, 2021

  • 基于超图的多视角动作识别使用事件摄像机

    多视角基于事件的行为识别框架 HyperMV 在多视角事件数据利用方面填补了现有研究的差距，并引入了最大的多视角基于事件的行为数据集 THU-MV-EACT-50，通过实验结果证明 HyperMV 在跨主体和跨视角情况下明显优于基线模型，同时在基于帧的多视角行为识别方面超越了现有的技术水平。

    Mar, 2024

  • 视频动作转换网络

    本文介绍了行动转换器模型用于识别和定位视频剪辑中的人类动作，使用 Transformer 风格的架构聚合人物周围的时空背景特征，通过高分辨率、个性化、类别不可知的查询，该模型自动学习跟踪个人并从他人的动作中获取语义上下文

    Dec, 2018

  • ActNetFormer：半监督视频动作识别的 Transformer-ResNet 混合方法

    提出了一种使用跨体系伪标签与对比度学习的半监督行为识别方法，其中结合 3D 卷积神经网络（3D CNN）和视频变换器（VIT）的独特方法能够有效捕捉行为的局部和全局上下文信息，从而在标记数据的一小部分情况下实现了卓越的性能。

    Apr, 2024

  • 基于事件的视觉技术早期预测操纵动作

    该研究介绍了一种基于事件的数据集，用于细粒度操作动作的预测，使用的模型是基于事件进行在线推理的 Transformer 网络，该模型成功地预测了动作，并通过时间逐渐增加信心，达到了最先进的分类效果，并且优于基于视频的方法，适用于具有非常微妙差异的场景。同时，该研究还发布了第一个用于操作动作识别的事件数据集。

    Jul, 2023

  • 预测性视频转换器

    提出了一种名为 AVT 的模型，它是一种基于注意力机制的端到端视频建模架构，通过关注之前观察过的视频来预测未来的动作，通过在训练时同时预测视频序列中的下一个动作。与现有的时序汇聚策略相比，AVT 在保持观察到的动作的时序进展的同时捕捉了长时间的依赖性，这对于预测任务非常关键。通过广泛的实验，该研究表明 AVT 在四个流行的动作预测基准测试中达到了最佳性能：EpicKitchens-55、EpicKitchens-100、EGTEA Gaze + 和 50-Salads；并在 EpicKitchens-100 CVPR'21 挑战赛中获得了第一名。

    Jun, 2021

  • 时空动作定位的活动图变换器

    该研究提出了一种基于深度学习的 Activity Graph Transformer 模型，可以对视频进行端到端分析，精确定位和识别视频内的特定事件活动，并通过非线性图推理方法捕获视频内事件之间的复杂时间结构。实验结果显示此方法在三个具有挑战性的数据集上均优于当前领先的方法。

    Jan, 2021

  • 针对零样本动作识别的端到端语义视频变换器

    本文提出了一种新的端到端训练 Transformer 模型的方法，能够高效地捕捉长期时空依赖性，在零样本学习方面获得了最新进展，通过避免训练和测试类之间的重叠，提出了一个新的实验设置方案，该方法在 UCF-101、HMDB-51 和 ActivityNet 数据集上的 top-1 准确性明显优于现有技术的水平。

    Mar, 2022

  • 基于 Transformer VAE 的带动作条件的 3D 人类动作合成

    本文介绍了一种运用 VAE 和 Transformer-Based 架构实现人体运动序列的有条件生成，以及改进行为识别和降噪等两种应用。

    Apr, 2021

  • 注意分心事件追踪

    提出了一种引入了变压器模块的具有抗干扰能力的事件驱动跟踪器，在两个大型事件跟踪数据集上验证了其在准确性和效率方面优于现有的最先进跟踪器。

    Oct, 2023