Jul, 2023

针对少样本动作识别的任务特定对齐和多层 transformer

PDF
TL;DR本文提出了一种名为 TSA-MLT 的端到端方法，在多层次特征上使用多层 Transformer 并使用任务特定的 TSA 进行处理，然后使用 L2 和 Optimal transport 距离度量进行融合，并以交叉熵损失进行训练以获得时间和语义方面的对齐，实验结果表明，在 HMDB51 和 UCF101 数据集上获得了最先进的结果，在 Kinetics 和 something-2-something V2 数据集基准测试上也有竞争力。
发现论文，激发创造
  • 少样本动作识别的时间关系跨变换器

    本文提出了一种新的少样本动作识别方法，利用跨时间关系交换器构建类原型，形成有序帧的视频表示，依靠匹配多个支持集视频和学习高阶关系交换器，取得了 Kinetics、Something-Something V2（SSv2）、HMDB51 和 UCF101 等数据集的最先进结果，尤其在 SSv2 数据集上性能比以前的方法提高了 12％，因为它可以更好地建模时间关系。

    Jan, 2021

  • TA2N: 用于少样本动作识别的两阶段动作对齐网络

    本文提出了一个基于 Two-stage Action Alignment Network (TA2N) 的方法，通过学习时间仿射变换来定位动作并解决时空分布不一致的问题，从而在几个样本的情况下识别新的动作类别，并在基准数据集上实现了最先进的表现。

    Jul, 2021

  • 具有查询自适应变形器的小样本时间动作定位

    本研究提出了一种新的少样本学习 (temporal action localization) 设置，使用未剪裁的视频来动态适应新类别和每个视频，同时引入了一个查询自适应变压器 (query adaptive Transformer) 来实现这一点，从而在两个行动定位基准测试中显著地优于所有现有方法。

    Oct, 2021

  • 一种基于语义和运动感知的时空转换网络实现动作检测

    本文介绍了一种新颖的时空变换网络，其中引入了几个原创组件以在未修剪视频中检测动作。该网络通过多特征选择性语义注意力模型计算空间和运动特征之间的关联，使用运动感知网络编码视频帧中的动作位置，并采用序列基础的时间注意力模型捕捉动作帧中的异质时间依赖关系，该方法在四个时空动作数据集上优于最先进的解决方案：AVA 2.2、AVA 2.1、UCF101-24 和 EPIC-Kitchens。

    May, 2024

  • 关于少样本动作识别中空间关系的重要性

    通过整合空间关系和时间信息，本文提出了一种新型的少样本动作识别方法 Spatial Alignment Cross Transformer (SA-CT)，并利用预训练模型进一步提升性能。

    Aug, 2023

  • 基于度量的视频动作识别小样本学习

    本研究介绍了针对少样本学习的视频动作识别任务，采用双流模型和三种常见的基于度量的算法，通过一组卷积和递归神经网络视频编码器进行训练和评估，证实了双流设置的重要性，并发现原型网络和池化长短期记忆网络嵌入为少样本方法和视频编码器提供了最佳性能。在 Kinetics 600 数据集上进行的 5-shot、5-way 任务中，该设置在测试集上获得了 84.2% 的准确度，而在混淆度较高的 “挑战” 测试集上获得了 59.4% 的准确度。

    Sep, 2019

  • 多模态 Transformer 网络用于动作检测

    本文提出了一种新的多模态转换器网络，用于检测未修剪视频中的动作，利用新的多模态注意机制计算不同空间和动态模态组合之间的相关性，并提出一种算法来纠正相机运动引起的动态变形，该算法在 THUMOS14 和 ActivityNet 两个公共基准测试上优于现有方法，在我们的新教育活动数据集上进行了比较实验，该数据集包括从小学捕捉的大量具有挑战性的课堂视频。

    May, 2023

  • 规模有关：针对未修剪视频精确动作定位的时间尺度聚合网络

    该研究提出了一个新的集成时间尺度聚合网络（TSA-Net），采用多扩张时间卷积（MDC）块和子网络实现特定持续时间动作的时间响应场，以检测且生成受限于三种关键点的动作提议，并在 THUMOS14 和 ActivityNet-1.3 数据集上达到了新的最佳表现。

    Aug, 2019

  • 利用非对齐文本进行弱监督视频表示学习

    本文提出了一种基于 transformer，支持弱监督下视频理解的方法，主要包括多粒度损失函数、伪造的帧 - 句对应关系等。在视频序列验证和文本匹配实验中表现良好。

    Mar, 2023

  • 基于对比学习的少样本动作识别的双流联合匹配方法

    基于对比学习的双流联合匹配 (TSJM) 方法在少样本动作识别中解决了动作关系建模、多模态信息利用不足、不同长度和速度的视频匹配问题，以及视频子动作不对齐的匹配问题。

    Jan, 2024