用于稳健的长尾学习的数据流形的正交不确定性表示

MMOct, 2023

用于稳健的长尾学习的数据流形的正交不确定性表示

Orthogonal Uncertainty Representation of Data Manifold for Robust Long-Tailed Learning

Yanbiao Ma, Licheng Jiao, Fang Liu, Shuyuan Yang, Xu Liu...

TL;DR在长尾分布的情景中，模型对尾部类别的识别能力受限于尾部样本的少量表示。本文提出了一种基于特征嵌入的正交不确定性表示方法（OUR）和端到端的训练策略，以改善模型的长尾现象。研究结果在长尾数据集上进行的综合评估表明，OUR 方法显著改善了模型的长尾现象，为其他长尾学习方法带来了一致的性能提升。

Abstract

In scenarios with long-tailed distributions, the model's ability to identify tail classes is limited due to the under-representation of tail samples. Class rebalancing, information augmentation, and other techniques have been proposed to facilitate models to learn the potential distrib

long-tailed distributions class rebalancing model robustness orthogonal uncertainty representation long-tailed learning methods

发现论文，激发创造

长尾学习的分布鲁棒性损失

本文提出了一种基于鲁棒性理论的新型损失函数，旨在解决深度模型在处理不平衡数据时的分类偏差问题，从而提高对于长尾类别的识别准确性。在多项基准测试中，通过降低特征空间中头类别的表示偏差，该方法相较于已有方法以及 SOTA 方法均得到了更好的效果。

Apr, 2021

基于几何先验引导的长尾分类特征表示学习

利用特征分布的几何信息来引导模型学习尾类的潜在分布，并且通过特征不确定性建模以提高模型在测试领域中的泛化性能。

Jan, 2024

曲率平衡特征流形学习用于长尾分类

通过对深度神经网络中概念流形的几何测量，研究发现曲率失衡会导致模型偏差，进而提出一种曲率正则化方法来平衡概念流形的几何特征，取得了良好的性能改进效果。

Mar, 2023

长尾数据的特征空间增强

本文提出了一种新方法，通过在特征空间中使用来自具有丰富样本的类别所学习的特征来增强特征空间中的欠表示类别，从而解决长尾分布问题。通过使用类别激活映射，将每个类别的特征分解为类别通用和类别特定部分，并将欠表示类别的类别特定特征与混淆类别的类别通用特征融合，实时生成新样本。结果表明，在 iNaturalist、ImageNet-LT、Places-LT 以及 CIFAR 的长尾版本等数据集上，本文所提出的方法展现了最先进的表现水平。

Aug, 2020

长尾分布下的对抗鲁棒性

本文探讨了长尾分布下的对抗鲁棒性问题，并提出了一个名为 RoBal 的有效算法框架，该框架包括两个模块：一个尺度不变分类器和数据再平衡。

Apr, 2021

最大似然不确定性估计：对异常值的鲁棒性

本研究针对回归任务中的训练数据中的离群值和嘈杂标签对基于最大似然的不确定性估计方法的鲁棒性进行基准测试，并提出使用重尾分布（拉普拉斯分布）来提高对离群值的鲁棒性。通过标准回归基准测试和单目深度估计的高维回归任务进行了验证，得出了基于重尾分布的最大似然提供更好的不确定性估计，更好的超出分布数据的不确定性分离，以及在存在离群值的情况下更好的对抗性攻击检测等结论。

Feb, 2022

EAT：面向长尾领域外检测

通过引入多个放弃类来扩展内分布类空间并通过虚拟标签训练识别 OOD 数据的检测器，以及通过将图片叠加到具有丰富上下文的 OOD 数据以增强对尾类特征的注意力，我们提出的方法在长尾 OOD 检测任务中表现优于最先进方法，并可作为现有长尾学习方法的附加模块，显著提升 OOD 检测性能。

Dec, 2023

不确定性中寻求合适的平衡

利用贝叶斯不确定性估计解决类别不平衡学习的问题，并且成功改进了面部验证、属性预测、数字 / 物体识别、皮肤病检测等六个基准数据集上的分类性能。

Jan, 2019

面向长尾视觉识别的校准模型

提出了两种新方法，一种是平衡取向的数据增强（Uniform Mixup），另一种是基于贝叶斯理论的 Bayes Bias，并通过理论和实验证明，这两种方法能够确保分类校准和提高性能。

Nov, 2021

从头到尾传递知识：长尾分布下的不确定性校准

本论文研究如何从长尾分布的样本中训练模型并校准，利用知识转移和重要性权重估算方法，将尾部类别的目标概率密度适应地从头部类别中传输，实现了长尾分布校准，并在多个数据集上证实了该方法的有效性。

Apr, 2023