Oct, 2020

基于隐式时间对齐和成对相似度优化的小样本动作识别

PDF
TL;DR本研究提出了一种基于 LSTM 的 few-shot 动作识别框架，采用了特定的评估设置，隐式序列对齐算法以及新的优化方法，通过在少量数据上最大化同类样本的相似性并最小化不同类之间的相似性来实现 few-shot 动作识别。实验表明，该方法在两个数据集上均取得了较好的效果。
发现论文，激发创造
  • 基于度量的视频动作识别小样本学习

    本研究介绍了针对少样本学习的视频动作识别任务，采用双流模型和三种常见的基于度量的算法，通过一组卷积和递归神经网络视频编码器进行训练和评估，证实了双流设置的重要性，并发现原型网络和池化长短期记忆网络嵌入为少样本方法和视频编码器提供了最佳性能。在 Kinetics 600 数据集上进行的 5-shot、5-way 任务中，该设置在测试集上获得了 84.2% 的准确度，而在混淆度较高的 “挑战” 测试集上获得了 59.4% 的准确度。

    Sep, 2019

  • 学习暗示性时间对齐用于小样本视频分类

    本文提出了一种新的基于匹配的少样本学习策略，结合隐式时间对齐和上下文编码模块以及多任务损失，用于解决视频分类中在有限标注情况下空间 - 时间表征的学习问题，并在两个具有挑战性的基准测试中证明了其优越性。

    May, 2021

  • 置换不变注意力的小样本动作识别

    本文提出一种基于 C3D 编码器和置换不变池化的模型，针对视频的少样本动作识别任务，通过性质相似的 原始视频块以及注意力机制，使其适用于不同长度和长期依赖模式的变化，同时在 HMDB51、UCF101 和 miniMIT 数据集上表现良好。

    Jan, 2020

  • Few-Shot 视频分类的深入研究：新基准和基础线

    本文旨在深入研究几种少量数据学习框架用于视频分类的方法，通过提出基于分类器的基线模型等贡献，发现现有的度量学习法存在的局限性，并发现新行动类别和 ImageNet 物体类别之间高度相关，最终提出了一个新的基准数据集以促进未来的少样本数据的视频分类研究，该代码将在指定网址上公开。

    Oct, 2021

  • 关于少样本动作识别中空间关系的重要性

    通过整合空间关系和时间信息，本文提出了一种新型的少样本动作识别方法 Spatial Alignment Cross Transformer (SA-CT)，并利用预训练模型进一步提升性能。

    Aug, 2023

  • 重新考虑用于小样本动作识别的时空建模

    本篇论文提出了 SloshNet，一个新的框架，重新审视少样本动作识别中的空间时间建模，并自动搜索低级和高级空间特征的最佳组合，同时利用 transformer 技术对全局和局部的时间关系进行建模，实现了对四种数据集的优秀结果。

    Jan, 2023

  • 基于复合样本原型匹配的小样本动作识别

    本论文提出了一种新颖的方法，将视频汇总为由一组全局原型和一组聚焦原型组成的复合原型，并基于原型进行视频相似性比较，进而用于小样本动作识别，实验结果显示该方法在多个基准测试上达到了最先进的成果。

    Jul, 2022

  • 几个视频中的共同动作定位

    本文提出了一种利用少量样本实现在长视频中定位动作的方法，通过新的三维卷积神经网络，结合相互增强、逐步对齐和成对匹配等模块，成功地对单一或多个动作实例的长视频进行了精准定位。

    Aug, 2020

  • 原型中心的关注学习在少样本动作识别中的应用

    本文提出了一种原型中心的注意力学习模型（PAL），通过引入原型中心对比学习损失和混合的注意力学习机制，PAL 模型能够有效地提高在少样本情况下的行为识别准确度，具有优异的性能表现。

    Jan, 2021

  • 面向少样本动作识别的语义感知视频表示

    我们提出了一种简单而有效的语义感知少样本动作识别模型（SAFSAR），该模型通过直接利用 3D 特征提取器与有效的特征融合方案以及简单的余弦相似度分类，实现了更好的性能，无需复杂的距离函数和额外的时间建模组件。在这种方案中，SAFSAR 以一种紧凑的方式实现了对文本语义的编码、视频表示的自适应特征融合，并鼓励视觉编码器提取更具语义一致性的特征。在各种设置下对五个具有挑战性的少样本动作识别基准进行的实验证明，所提出的 SAFSAR 模型显著提高了最先进的性能。

    Nov, 2023