运用头脑：提升长尾视频识别

CVPRApr, 2023

Use Your Head: Improving Long-Tail Video Recognition

Toby Perrett, Saptarshi Sinha, Tilo Burghardt, Majid Mirmehdi, Dima Damen

TL;DR本文对长尾视频识别进行了研究，提出了新的视频基准数据集和一种名为 Long-Tail Mixed Reconstruction 的方法，可显著减少过拟合并取得了最新的平均分类精度。

Abstract

This paper presents an investigation into long-tail video recognition. We demonstrate that, unlike naturally-collected video datasets and existing long-tail image benchmarks, current video benchmarks fall short o

long-tail video recognition few-shot classes video benchmarks long-tail mixed reconstruction state-of-the-art accuracy

发现论文，激发创造

VideoLT: 大规模长尾视频识别

介绍了 VideoLT 数据集，通过 FrameStack 方法对视频中的长尾现象进行处理，通过实验证明该方法可以提高分类性能，而不会牺牲整体准确率。

May, 2021

基于关注聚合的少数民族定向邻域扩展视频长尾识别

本文探讨了 Video Long-Tailed Recognition 中难以应对的（1）任务不相关特征和（2）视频级标签的问题，并提出两种相互补充的可学习特征聚合器和基于类频率的近似扩展方法，使得算法达到了当今的最优效果。

Nov, 2022

学习分割尾部

该论文提出了一种 “分而治之” 的策略，即将整个数据划分为平衡的部分，并分别应用增量学习，以解决大规模长尾数据中出现的极端样本不平衡问题，从而推导出一种新的学习范式：类增量少样本学习。该论文通过设计实例级平衡重放方案和元模块，为实现新类学习与旧类知识复习中的类不平衡和少样本数据的挑战而努力。通过实验证明，该方法可以在牺牲一定头类遗忘的代价下，在少于 10 个实例的情况下显著提高 8.3％的 AP，从而为整个 1,230 个类别的模型提供 2.0％的 AP 提升。

Apr, 2020

使用大词汇表探索长尾视觉关系识别

本文是对 Long-Tail Visual Relationship Recognition（LTVRR）任务的第一次大规模研究。通过引入 VG8K-LT 和 GQA-LT 等基于 Visual Genome 和 GQA 数据集的相关基准，研究了几种使用最先进的长尾模型在 LTVRR 设置中的性能。最后，介绍了一种 VilHub 损失和一种 RelMix 增强技术，能够显著提高性能，尤其是尾部类别。

Mar, 2020

ResLT: 面向长尾识别的残差学习

本研究提出通过保留特定类别低频率的能力，并设计了一种有效的残差融合机制来缓解极不平衡数据分布的深度学习算法应用长尾数据分布时普遍存在的问题，通过在参数空间的角度来解决长尾识别问题，并在多个基准数据集上进行了测试，证明了方法的有效性。

Jan, 2021

长尾识别的表示与分类器解耦

本研究中，我们解耦学习过程，系统地探索不同平衡策略如何影响长尾识别的表示学习和分类器。我们的发现表明，数据不平衡在学习高质量表示方面可能不是问题，在使用最简单的实例平衡抽样进行学习表示的情况下，只需调整分类器就能实现强大的长尾识别能力，甚至可以胜过精心设计的损失、采样策略以及使用记忆组件的复杂模块。

Oct, 2019

通过平滑尾部数据逐步学习，提高长尾目标检测能力

本文通过构建 smooth-tail 数据实现对长尾数据的更精确检测，并通过逐步优化模型以达到提高模型性能的目的。通过在 LVIS v0.5 和 LVIS v1.0 数据集上进行实验验证了本方法的卓越性能。

May, 2023

长尾实例分割的分类校准

本研究探究基于 LVIS 数据集的极长尾数据对两阶段实例分割模型性能下降的现象，并发现物体提议分类的不准确是主要原因。通过将分类头部进行预测校准并不需要额外的费用和修改检测模型架构，可以大幅提高基线模型的识别性能。

Oct, 2019

分类中的魔鬼：一种针对长尾物体检测和实例分割的简单框架

本文旨在研究并解决现有的目标检测和分割模型在长尾数据集上的失效问题，通过对现有的两阶段实例分割模型 Mask R-CNN 在最近的长尾 LVIS 数据集上的表现进行系统调研后，我们发现不准确的对象提案分类是其表现下降的主要原因，然后我们提出了一种用于改进长尾分类性能的简单校准框架，它可以更有效地减轻分类头偏差，并结合二级类平衡采样方法。在我们的实验中表现良好，提高了最近 LVIS 数据集和我们采样的 COCO-LT 数据集的尾部类别实例分割的准确性。

Jul, 2020

LTGC：借助 LLMs 驱动的生成内容进行长尾识别

本文提出了一种新的生成和微调框架，LTGC（Long-Tail Generative and Fine-Tuning Framework），通过利用生成的内容来处理长尾识别问题。该框架通过利用大规模模型中丰富的隐式知识来解析和推理原始尾部数据，生成多样的尾部类别内容，并通过几种新颖的设计确保生成数据的质量，以及利用生成和原始数据进行高效微调。可视化结果证明了 LTGC 中生成模块的有效性，它能产生准确且多样的尾部数据，实验结果表明我们的 LTGC 在流行的长尾基准测试中优于现有的最先进方法。

Mar, 2024