通过对预训练模型进行校准，在二进制网络上进行长尾识别

Mar, 2024

通过对预训练模型进行校准，在二进制网络上进行长尾识别

Long-Tailed Recognition on Binary Networks by Calibrating A Pre-trained Model

Jihun Kim, Dahyun Kim, Hyungrok Jung, Taeil Oh, Jonghyun Choi

TL;DR使用高度资源有效的二进制神经网络作为骨干结构来学习长尾分布，通过校准和蒸馏框架利用平衡数据集上的预训练全精度模型作为教师，结合对目标函数术语的对抗平衡和高效的多分辨率学习方案，在 15 个数据集上对最新的长尾数据集进行了最大规模的实证研究，结果显示我们的方法在平均上大幅优于现有技术（>14.33%）。

Abstract

Deploying deep models in real-world scenarios entails a number of challenges, including computational efficiency and real-world (e.g., long-tailed) data distributions. We address the combined challenge of learnin

deep models computational efficiency long-tailed data binary neural networks calibrate-and-distill framework

发现论文，激发创造

改进长尾识别的校准

本文针对训练数据集不均衡和 miscalibration 等问题，设计了两种方法，分别为标签感知平滑和批次偏移规范化，并在多个长尾识别基准数据集上创造了新记录。

Apr, 2021

面向长尾视觉识别的校准模型

提出了两种新方法，一种是平衡取向的数据增强（Uniform Mixup），另一种是基于贝叶斯理论的 Bayes Bias，并通过理论和实验证明，这两种方法能够确保分类校准和提高性能。

Nov, 2021

从头到尾传递知识：长尾分布下的不确定性校准

本论文研究如何从长尾分布的样本中训练模型并校准，利用知识转移和重要性权重估算方法，将尾部类别的目标概率密度适应地从头部类别中传输，实现了长尾分布校准，并在多个数据集上证实了该方法的有效性。

Apr, 2023

从不平衡中构建平衡：长尾图像识别

本文提出了一种新的解决长尾图像识别中头尾偏差问题的方法，通过调整标签空间来平衡数据，从而提高分类性能。实验证明该方法可应用于多种模型，并为长尾特征学习提供了思路。

Aug, 2022

长尾分布下的对抗鲁棒性

本文探讨了长尾分布下的对抗鲁棒性问题，并提出了一个名为 RoBal 的有效算法框架，该框架包括两个模块：一个尺度不变分类器和数据再平衡。

Apr, 2021

深度长尾学习综述

本文系统总结了深度长尾学习的最新进展，围绕着类别再平衡、信息增强和模块改进三个主要类别对相关方法进行详细探讨，并通过提出的相对准确度评估指标对最先进的方法进行了实证分析，为深度长尾学习的应用和未来研究方向提供了重要的参考。

Oct, 2021

ResLT: 面向长尾识别的残差学习

本研究提出通过保留特定类别低频率的能力，并设计了一种有效的残差融合机制来缓解极不平衡数据分布的深度学习算法应用长尾数据分布时普遍存在的问题，通过在参数空间的角度来解决长尾识别问题，并在多个基准数据集上进行了测试，证明了方法的有效性。

Jan, 2021

长尾识别的表示与分类器解耦

本研究中，我们解耦学习过程，系统地探索不同平衡策略如何影响长尾识别的表示学习和分类器。我们的发现表明，数据不平衡在学习高质量表示方面可能不是问题，在使用最简单的实例平衡抽样进行学习表示的情况下，只需调整分类器就能实现强大的长尾识别能力，甚至可以胜过精心设计的损失、采样策略以及使用记忆组件的复杂模块。

Oct, 2019

一种基于视觉 - 语言模型的简单长尾识别基准线

BALLAD 利用对比学习方法，结合视觉感知与语言理解，实现对于长尾数据集的视觉识别，并在大量实验中获得比竞争性基线更优异的表现。

Nov, 2021

类平衡蒸馏在长尾视觉识别中的应用

提出了一种新的框架 CBD，利用知识蒸馏增强特征表示，通过使用类平衡采样，第二阶段的训练使得特征表示能够在少数类上进化，可以自然的适用多个 Teachers，并在 ImageNet-LT，iNaturalist17 和 iNaturalist18 数据集上取得比现有技术更好的性能。

Apr, 2021