ECCVJul, 2022

基于外观和时间对齐的归纳和转导式小样本视频分类

PDF
TL;DR提出了一种新的少样本视频分类方法，该方法通过外貌和时间对齐来进行，采用了原型训练和测试，以及归纳和推导原型细化。此方法在 Kinetics 和 Something-Something V2 数据集上进行了广泛实验，并取得了类似或更好的结果。
few-shot video classificationappearance alignmenttemporal alignmentprototype-based trainingtransductive prototype refinement
发现论文，激发创造
  • 学习暗示性时间对齐用于小样本视频分类

    本文提出了一种新的基于匹配的少样本学习策略，结合隐式时间对齐和上下文编码模块以及多任务损失，用于解决视频分类中在有限标注情况下空间 - 时间表征的学习问题，并在两个具有挑战性的基准测试中证明了其优越性。

    May, 2021

  • 通过时间对齐的少样本视频分类

    本文提出了一种新的少样本学习框架 ——“Temporal Alignment Module (TAM)”，通过显式利用视频数据中的时序信息，计算查询视频与新类别代理之间的距离值以实现视频分类，并引入连续松弛以在端到端的学习中直接优化少样本学习目标，最后，在两个真实世界数据集上的评估表明，模型相比各种基线算法在少样本视频分类领域具有明显的提高。

    Jun, 2019

  • Few-Shot 视频分类的深入研究：新基准和基础线

    本文旨在深入研究几种少量数据学习框架用于视频分类的方法，通过提出基于分类器的基线模型等贡献，发现现有的度量学习法存在的局限性，并发现新行动类别和 ImageNet 物体类别之间高度相关，最终提出了一个新的基准数据集以促进未来的少样本数据的视频分类研究，该代码将在指定网址上公开。

    Oct, 2021

  • 少样本动作识别的时间关系跨变换器

    本文提出了一种新的少样本动作识别方法，利用跨时间关系交换器构建类原型，形成有序帧的视频表示，依靠匹配多个支持集视频和学习高阶关系交换器，取得了 Kinetics、Something-Something V2（SSv2）、HMDB51 和 UCF101 等数据集的最先进结果，尤其在 SSv2 数据集上性能比以前的方法提高了 12％，因为它可以更好地建模时间关系。

    Jan, 2021

  • 面向对齐一致性的零样本视频分类表示学习

    该论文提出了一个端到端的框架，用于在被观察和未被观察的类别上均保留对比和一致性特性的视觉 - 语义表示，通过同时进行对齐和鼓励学习特征分布均匀的监督式对比损失来促进模型的泛化能力，实验结果表明该方法在 UCF101 和 HMDB51 上的相对改进分别达到 28.1% 和 27.0%。

    Mar, 2022

  • 基于隐式时间对齐和成对相似度优化的小样本动作识别

    本研究提出了一种基于 LSTM 的 few-shot 动作识别框架，采用了特定的评估设置，隐式序列对齐算法以及新的优化方法，通过在少量数据上最大化同类样本的相似性并最小化不同类之间的相似性来实现 few-shot 动作识别。实验表明，该方法在两个数据集上均取得了较好的效果。

    Oct, 2020

  • 针对少样本动作识别的任务特定对齐和多层 transformer

    本文提出了一种名为 TSA-MLT 的端到端方法，在多层次特征上使用多层 Transformer 并使用任务特定的 TSA 进行处理，然后使用 L2 和 Optimal transport 距离度量进行融合，并以交叉熵损失进行训练以获得时间和语义方面的对齐，实验结果表明，在 HMDB51 和 UCF101 数据集上获得了最先进的结果，在 Kinetics 和 something-2-something V2 数据集基准测试上也有竞争力。

    Jul, 2023

  • 视频文字弱监督对齐

    本文提出了一种方法来自动对齐视频和文本，并使用向量特征将其视为时间分配问题，最终得出整数解决方案，这在对齐视频与符号标签方面取得了显着的改进并在具有相关文本说明的挑战性数据集上进行了评估。

    May, 2015

  • 时域镶嵌：视频分析的统一方法

    本论文提出了一种通用且灵感来源于对 2D 图像分析成功的语义转移技术的视频理解方法，通过测试视频和具有已知语义参考视频之间的对应关系，将参考的语义转移到测试视频。我们讨论了两种匹配方法，并将其应用于视频字幕，视频摘要，时间动作检测和声音预测等任务，并在 LSMDC'16 benchmark，SumMe 和 TVSum benchmarks，Thumos2014 benchmark 和 Greatest Hits benchmark 上取得了优异的表现。

    Dec, 2016

  • 基于传递的零样本和小样本 CLIP

    这篇论文研究了在 CLIP 等视觉语言模型的快速发展文献中被完全忽视的跨导式零样本和少样本 CLIP 分类挑战，其中推断是在一批未标记的查询样本上进行的，而不是独立处理每个实例。通过构建信息性的视觉文本概率特征，本文提出了一个基于最小化问题的分类优化目标，使用 Dirichlet 分布来建模每个类的数据概率分布。我们采用一种新颖的块主导次优化算法来解决这个最小化问题，该算法同时估计分布参数和类别分配。对 11 个数据集进行的大量数值实验证明了我们批处理推断方法的益处和功效。在测试批次包含 75 个样本的零样本任务中，我们的方法在 ImageNet 准确性方面相对于 CLIP 的零样本性能提高了近 20%。此外，在少样本设置中，我们超过了现有的最先进方法。代码可在此链接获得：this https URL

    Apr, 2024