通过时间对齐的少样本视频分类

Jun, 2019

Few-Shot Video Classification via Temporal Alignment

Kaidi Cao, Jingwei Ji, Zhangjie Cao, Chien-Yi Chang, Juan Carlos Niebles

TL;DR本文提出了一种新的少样本学习框架 ——“Temporal Alignment Module (TAM)”，通过显式利用视频数据中的时序信息，计算查询视频与新类别代理之间的距离值以实现视频分类，并引入连续松弛以在端到端的学习中直接优化少样本学习目标，最后，在两个真实世界数据集上的评估表明，模型相比各种基线算法在少样本视频分类领域具有明显的提高。

Abstract

There is a growing interest in learning a model which could recognize novel classes with only a few labeled examples. In this paper, we propose Temporal Alignment Module (TAM), a novel few-shot learning framework that can learn to classify a previous unseen video. While most previous w

few-shot learning temporal alignment module video classification data-efficiency end-to-end learning

发现论文，激发创造

学习暗示性时间对齐用于小样本视频分类

本文提出了一种新的基于匹配的少样本学习策略，结合隐式时间对齐和上下文编码模块以及多任务损失，用于解决视频分类中在有限标注情况下空间 - 时间表征的学习问题，并在两个具有挑战性的基准测试中证明了其优越性。

May, 2021

基于外观和时间对齐的归纳和转导式小样本视频分类

提出了一种新的少样本视频分类方法，该方法通过外貌和时间对齐来进行，采用了原型训练和测试，以及归纳和推导原型细化。此方法在 Kinetics 和 Something-Something V2 数据集上进行了广泛实验，并取得了类似或更好的结果。

Jul, 2022

TAM：面向视频识别的时间自适应模块

该研究提出了一种新的时间自适应模块（TAM），可生成基于其自身特征图的视频特定时间核，采用独特的两级自适应建模方案，通过将动态核解耦为位置敏感重要性地图和位置不变聚合权重，从本地时间窗口中学习重要性地图以捕捉短期信息，从全局视图中生成聚合权重，并成功应用于 TANet 架构中，从而实现卓越的性能表现。

May, 2020

基于隐式时间对齐和成对相似度优化的小样本动作识别

本研究提出了一种基于 LSTM 的 few-shot 动作识别框架，采用了特定的评估设置，隐式序列对齐算法以及新的优化方法，通过在少量数据上最大化同类样本的相似性并最小化不同类之间的相似性来实现 few-shot 动作识别。实验表明，该方法在两个数据集上均取得了较好的效果。

Oct, 2020

TA2N: 用于少样本动作识别的两阶段动作对齐网络

本文提出了一个基于 Two-stage Action Alignment Network (TA2N) 的方法，通过学习时间仿射变换来定位动作并解决时空分布不一致的问题，从而在几个样本的情况下识别新的动作类别，并在基准数据集上实现了最先进的表现。

Jul, 2021

TAEN：适用于少样本动作识别的时间感知嵌入网络

该论文提出了基于少量学习设计的 Temporal Aware Embedding Network (TAEN), 用于低样本动作识别，并在 Kinetics-400 和 ActivityNet 1.2 few-shot 数据集上得到了令人满意的结果。

Apr, 2020

关于少样本动作识别中空间关系的重要性

通过整合空间关系和时间信息，本文提出了一种新型的少样本动作识别方法 Spatial Alignment Cross Transformer (SA-CT)，并利用预训练模型进一步提升性能。

Aug, 2023

长时间视频的时间对齐网络

本文提出了一种时间对齐网络，能够对长期视频序列和关联文本句子进行处理，使用了一种新颖的共同训练方法来减少噪音并训练原始指导视频，应用于多个视频理解任务，包括文本 - 视频检索和弱监督视频动作分割等，获得了更好的性能。

Apr, 2022

重新考虑用于小样本动作识别的时空建模

本篇论文提出了 SloshNet，一个新的框架，重新审视少样本动作识别中的空间时间建模，并自动搜索低级和高级空间特征的最佳组合，同时利用 transformer 技术对全局和局部的时间关系进行建模，实现了对四种数据集的优秀结果。

Jan, 2023

针对少样本动作识别的任务特定对齐和多层 transformer

本文提出了一种名为 TSA-MLT 的端到端方法，在多层次特征上使用多层 Transformer 并使用任务特定的 TSA 进行处理，然后使用 L2 和 Optimal transport 距离度量进行融合，并以交叉熵损失进行训练以获得时间和语义方面的对齐，实验结果表明，在 HMDB51 和 UCF101 数据集上获得了最先进的结果，在 Kinetics 和 something-2-something V2 数据集基准测试上也有竞争力。

Jul, 2023