一种基于视觉 - 语言模型的简单长尾识别基准线

Nov, 2021

一种基于视觉 - 语言模型的简单长尾识别基准线

A Simple Long-Tailed Recognition Baseline via Vision-Language Model

Teli Ma, Shijie Geng, Mengmeng Wang, Jing Shao, Jiasen Lu...

TL;DRBALLAD 利用对比学习方法，结合视觉感知与语言理解，实现对于长尾数据集的视觉识别，并在大量实验中获得比竞争性基线更优异的表现。

Abstract

The visual world naturally exhibits a long-tailed distribution of open classes, which poses great challenges to modern visual systems. Existing approaches either perform class re-balancing strategies or directly improve network modules to address the problem. However, they still train models with a finite set of predefined labels, limiting their supervision

long-tailed recognition vision-language models contrastive learning semantic similarity tail classes

发现论文，激发创造

VL-LTR: 学习类别感知的视觉语言表示在长尾视觉识别中的应用

本研究提出一种基于深度学习的视觉 - 语言长尾识别框架 (VL-LTR)，并在图像文本双模态下解决了长尾数据识别问题，实验结果在 ImageNet-LT 数据集上表现优异，取得了 77.2% 的整体准确率，比之前最佳表现高出了 17 个百分点。

Nov, 2021

视觉任务的视觉语言模型综述

本文系统回顾了基于语言的视觉模型在各种视觉识别任务中的应用，并总结了广泛采用的网络结构、预训练目标和下游任务，以及预训练和评估中广泛采用的数据集，并回顾和分类现有的预训练方法、传输学习方法和知识蒸馏方法。

Apr, 2023

长尾识别的均匀分布类别原型引导视觉语言框架

研究论文提出了一种基于统一类别原型导向的视觉语言框架，用于有效缓解数据不平衡引起的特征空间偏差，并通过去除无关噪声文本和增强关键属性信息的模块提高模型的鲁棒性，同时通过类特征原型导向分类器解决学习分类器的正向偏差问题，从而在长尾学习中实现了比之前方法更优越的性能。

Aug, 2023

深度长尾学习综述

本文系统总结了深度长尾学习的最新进展，围绕着类别再平衡、信息增强和模块改进三个主要类别对相关方法进行详细探讨，并通过提出的相对准确度评估指标对最先进的方法进行了实证分析，为深度长尾学习的应用和未来研究方向提供了重要的参考。

Oct, 2021

视觉 - 语言模型中被忽视的尾部

视觉语言模型（VLM）在零射击识别方面表现出色，但在视觉概念上的性能相差巨大。我们的工作首次尝试通过分析预训练文本来测量概念频率，并提出了一种减轻 VLM 在零射击识别中不平衡性能的方法 REtrieval-Augmented Learning REAL。

Jan, 2024

预训练视觉 - 语言模型的高效和长尾泛化

针对使 CLIP 适应现实世界的挑战，我们提出了一种名为 Candle 的新框架，通过引入新的损失函数、跨模态注意力和虚拟原型来实现高效、长尾泛化，该方法在 11 个不同数据集上展示出了卓越的性能，并大大减少了训练时间。

Jun, 2024

通过对预训练模型进行校准，在二进制网络上进行长尾识别

使用高度资源有效的二进制神经网络作为骨干结构来学习长尾分布，通过校准和蒸馏框架利用平衡数据集上的预训练全精度模型作为教师，结合对目标函数术语的对抗平衡和高效的多分辨率学习方案，在 15 个数据集上对最新的长尾数据集进行了最大规模的实证研究，结果显示我们的方法在平均上大幅优于现有技术（>14.33%）。

Mar, 2024

长尾识别中的新型类别发现

基于等角原型表示的自适应自标记策略，通过解决弛化的最优传输问题，更有效地发现不平衡的新类别，从而有效减轻已知和新类别学习中的偏差，并在 CIFAR100、ImageNet100、Herbarium19 和大规模 iNaturalist18 数据集上取得了卓越的结果。

Aug, 2023

对比式视觉 - 语言对齐提高指示学习效率

通过将 Contrastive 和 Generative 方法应用于 ViT 和 LLM 的表示对齐，我们提出了 CG-VLM 模型，有效地实现了视觉 - 语言的对齐，成为一种高效的指令学习器。

Nov, 2023

探索用于不平衡学习的视觉 - 语言模型

本文针对 Vision-Language models 在处理 imbalanced dataset 时性能较差的问题，提出了加入 lightweight decoder 和 imbalanced 方法的改进方案，并在 ImageNet-LT iNaturalist18 和 Places-LT 三个数据集上进行了实验，证明改进后的 VLMs 相较于原来的 zero-shot classification 方法，在准确率上有显著提升。

Apr, 2023