AAAINov, 2022

基于关注聚合的少数民族定向邻域扩展视频长尾识别

PDF
TL;DR本文探讨了 Video Long-Tailed Recognition 中难以应对的（1）任务不相关特征和（2）视频级标签的问题，并提出两种相互补充的可学习特征聚合器和基于类频率的近似扩展方法，使得算法达到了当今的最优效果。
video long-tailed recognitionlearnable feature aggregatorsminority-oriented vicinity expansionbiased trainingstate-of-the-art results
发现论文，激发创造
  • 运用头脑：提升长尾视频识别

    本文对长尾视频识别进行了研究，提出了新的视频基准数据集和一种名为 Long-Tail Mixed Reconstruction 的方法，可显著减少过拟合并取得了最新的平均分类精度。

    Apr, 2023

  • VideoLT: 大规模长尾视频识别

    介绍了 VideoLT 数据集，通过 FrameStack 方法对视频中的长尾现象进行处理，通过实验证明该方法可以提高分类性能，而不会牺牲整体准确率。

    May, 2021

  • VL-LTR: 学习类别感知的视觉语言表示在长尾视觉识别中的应用

    本研究提出一种基于深度学习的视觉 - 语言长尾识别框架 (VL-LTR)，并在图像文本双模态下解决了长尾数据识别问题，实验结果在 ImageNet-LT 数据集上表现优异，取得了 77.2% 的整体准确率，比之前最佳表现高出了 17 个百分点。

    Nov, 2021

  • 使用大词汇表探索长尾视觉关系识别

    本文是对 Long-Tail Visual Relationship Recognition（LTVRR）任务的第一次大规模研究。通过引入 VG8K-LT 和 GQA-LT 等基于 Visual Genome 和 GQA 数据集的相关基准，研究了几种使用最先进的长尾模型在 LTVRR 设置中的性能。最后，介绍了一种 VilHub 损失和一种 RelMix 增强技术，能够显著提高性能，尤其是尾部类别。

    Mar, 2020

  • 长尾数据上的深度表示学习：一种可学习的嵌入增强视角

    本文研究如何学习 deep learning 中的 feature 并解决长尾数据集中头尾类别分布错位、影响特征判别能力的问题。我们提出了使用‘特征云’方法来恢复长尾数据集的‘类内多样性’，并在 person re-identification 和 face recognition 任务中进行实验验证。

    Feb, 2020

  • 使用视觉 Transformer 学习不平衡数据

    该论文介绍了一种名为 LiVT 的模型，使用 Long-Tailed 数据进行训练，其中使用了 Masked Generative Pretraining (MGP) 和 Balanced Binary Cross Entropy (Bal-BCE) 来优化模型性能，结果表明该模型在 iNaturalist 2018 上的 Top-1 准确率可达 81.0%。

    Dec, 2022

  • 利用大规模视频转录进展高分辨率视频语言表示

    本文提出了一种高分辨率和多样化的视频 - 语言预训练模型（HD-VILA），它利用一个混合 Transformer 学习丰富的时空特征以及文本特征的交互，取得了 10 个 VL 理解任务和 2 个文本到视觉生成任务的最新结果

    Nov, 2021

  • 基于潜在类别识别的长尾图像分类 LCReg

    通过深度学习技术，本研究提出了一种新的长尾图像识别方法，通过学习共享的隐含特征来改进特征表征，并在这些特征上进行语义数据增强，以提高训练样本的多样性，显著改善了基线模型。

    Sep, 2023

  • HaVTR：利用大型基础模型改进视频 - 文本检索的方法

    HaVTR 提出了一种新颖的视频 - 文本学习范式，通过数据增强和引入生成模型生成更加丰富的数据，提高视频 - 文本检索模型的表示学习能力，在多个检索基准测试中展现了优越性。

    Apr, 2024

  • 全局和局部混合一致性累积学习用于长尾视觉识别

    该论文提出了一种名为 GLMC 的训练策略，旨在解决长尾视觉识别中的特征提取器鲁棒性和分类器偏差问题，其中核心思想包括全局和局部混合一致性损失、累积头尾软标签权重损失等，该方法在多个数据集上达到了最新的准确度，并证明了其对提高邻近算法泛化的有效性。

    May, 2023