从头到尾传递知识：长尾分布下的不确定性校准

Apr, 2023

从头到尾传递知识：长尾分布下的不确定性校准

Transfer Knowledge from Head to Tail: Uncertainty Calibration under Long-tailed Distribution

Jiahao Chen, Bing Su

TL;DR本论文研究如何从长尾分布的样本中训练模型并校准，利用知识转移和重要性权重估算方法，将尾部类别的目标概率密度适应地从头部类别中传输，实现了长尾分布校准，并在多个数据集上证实了该方法的有效性。

Abstract

How to estimate the uncertainty of a given model is a crucial problem. Current calibration techniques treat different classes equally and thus implicitly assume that the distribution of training data is balanced, but ignore the fact that real-world data often follows a long-tailed distributio

model calibration long-tailed distribution knowledge transfer importance weights probability density

发现论文，激发创造

长尾分类的标签感知分布校准

本文提出了一种新的分布校准方法，名为标签感知分布校准（LADC），它利用头部类的相关统计信息丰富尾部类，从而更准确地校准长尾分布的数据集。实验结果表明 LADC 显著优于现有的方法。

Nov, 2021

面向长尾视觉识别的校准模型

提出了两种新方法，一种是平衡取向的数据增强（Uniform Mixup），另一种是基于贝叶斯理论的 Bayes Bias，并通过理论和实验证明，这两种方法能够确保分类校准和提高性能。

Nov, 2021

从域自适应的角度重新思考针对长尾视觉识别的类别平衡方法

本文从领域自适应的角度分析了分类中长尾类别分布的问题，提出了基于元学习的显式估计类别条件分布差异的方案，并在六个基准数据集和三个损失函数上进行了验证。

Mar, 2020

通过对预训练模型进行校准，在二进制网络上进行长尾识别

使用高度资源有效的二进制神经网络作为骨干结构来学习长尾分布，通过校准和蒸馏框架利用平衡数据集上的预训练全精度模型作为教师，结合对目标函数术语的对抗平衡和高效的多分辨率学习方案，在 15 个数据集上对最新的长尾数据集进行了最大规模的实证研究，结果显示我们的方法在平均上大幅优于现有技术（>14.33%）。

Mar, 2024

长尾分布自适应

本研究通过将长尾分布建模为不平衡领域，一般分布建模为平衡领域，提出了一种基于域适应的长尾识别解决机制。该机制通过松弛一般化误差界限、优化不平衡和平衡领域的经验风险、以及利用类内和类间距离来逼近域分歧，以可解释的方式将基于长尾分布的模型适应到一般分布中，实验结果验证了其在图像识别、物体检测和实例分割等方面达到了最先进的性能水平。

Oct, 2021

基于几何先验引导的长尾分类特征表示学习

利用特征分布的几何信息来引导模型学习尾类的潜在分布，并且通过特征不确定性建模以提高模型在测试领域中的泛化性能。

Jan, 2024

改进长尾识别的校准

本文针对训练数据集不均衡和 miscalibration 等问题，设计了两种方法，分别为标签感知平滑和批次偏移规范化，并在多个长尾识别基准数据集上创造了新记录。

Apr, 2021

应对领域转移下的长尾类别分布

使用三种新的核心功能块，以及集成在元学习框架中，解决长尾分布分类和领域漂移问题，提高了领域泛化在新的目标领域上的表现。

Jul, 2022

长尾视觉识别的类分布感知校准

本文提出了一种考虑类别分布的深度神经网络模型校准方法，针对高频类别过于自信的问题，通过使用类别频率信息来替换温度值或平滑标签，并结合蒸馏损失减少误校准。实验证明该方法在长尾数据集上提高了预测准确性和校准性能。

Sep, 2021

高斯云逻辑调整的长尾视觉识别

本文提出了一种适用于长尾数据的新的神经网络训练方法，使用高斯混合调整不同分类逻辑回归的差异，实现对样本在嵌入空间的调整，从而解决长尾问题，同时也提出了一种分类器的重新训练策略来减轻歧视，实验表明该方法具有卓越的性能。

May, 2023