Jul, 2023

高斯混合下的长尾理论

PDF
TL;DR我们提出了一个简单的高斯混合模型用于数据生成，符合 Feldman 的长尾理论（2020）。我们证明了在线性分类器中，在所提出的模型中无法将泛化误差降低到一定水平以下，而具有记忆能力的非线性分类器可以做到。这证实了对于长尾分布，必须考虑到罕见的训练样本才能实现对新数据的最佳泛化。最后，我们展示了在线性和非线性模型之间的性能差距可以在亚种群频率分布的尾部变短时减小，这在合成和实际数据的实验中得到了证实。
gaussian mixture modellong tail theorylinear classifiernonlinear classifiergeneralization error
发现论文，激发创造
  • 高斯型调整逻辑斯谛回归用于长尾视觉识别

    该论文针对长尾数据分类的问题，从特征层面提出了特征增强及对数调整方法，用以平衡嵌入（embedding）分布，消除分类器偏差，实验表明该方法超越了现有的最佳方法。

    May, 2023

  • 在图上表征长尾类别

    本文提出了长尾数据在图分类中的泛化界限，为了解决这个问题，我们引入了多任务学习，并建立了一个通用框架 Tail2Learn，该框架通过分层任务分组模块和平衡对比学习模块，可以提高长尾类别在图上的性能。

    May, 2023

  • 高斯云逻辑调整的长尾视觉识别

    本文提出了一种适用于长尾数据的新的神经网络训练方法，使用高斯混合调整不同分类逻辑回归的差异，实现对样本在嵌入空间的调整，从而解决长尾问题，同时也提出了一种分类器的重新训练策略来减轻歧视，实验表明该方法具有卓越的性能。

    May, 2023

  • 尾部蕴藏玄机：野外细粒度分类

    这篇论文研究了长尾分布对计算机视觉和视觉识别的影响，通过对大规模细粒度分类数据集和深度学习分类算法的分析，发现训练样本数量对分类性能的影响非常大，迁移学习在当前方法中表现欠佳，因此研究人员建议应对长尾分布的问题进行全面思考。

    Sep, 2017

  • 标签噪声下的鲁棒长尾学习

    研究了在长尾标签分布下标签噪声问题，提出了一种新的原型噪声检测方法及一个鲁棒的框架，该框架通过软伪标签技术和半监督学习算法进一步提高了泛化性能，并且在基准和真实数据集上表现优于现有基线模型，尤其是比 DivideMix 模型测试精度高出 3％。

    Aug, 2021

  • 基于几何先验引导的长尾分类特征表示学习

    利用特征分布的几何信息来引导模型学习尾类的潜在分布，并且通过特征不确定性建模以提高模型在测试领域中的泛化性能。

    Jan, 2024

  • 基于长尾分布的深度人脸识别范围损失

    本文提出了一种新的损失函数 Range loss，对于类别极不均衡的人脸识别数据，我们将 $k$ 个最大范围内的均值作为最优化目标，其中包括一个批次内最短的跨类距离，通过在 LFW 和 YTF 上的实验，表明了该方法的有效性和泛化能力。

    Nov, 2016

  • 有限高斯混合逼近的最佳近似

    通过有限混合物逼近一般的高斯位置混合物，在具有紧支持或适当的尾部概率假设的混合分布族中确定实现所需精度（通过各种 $f$- 分歧度测量）的有限混合物的最小阶数，其中上界是通过使用局部矩匹配技术实现的，下界是通过将最佳逼近误差与某些三角矩矩阵的低秩逼近联系起来，然后通过对其最小特征值进行精细的谱分析确定的。在高斯混合分布情况下，该结果纠正了之前在 [Allerton Conference 48 (2010) 620-628] 中的下界。

    Apr, 2024

  • 长尾数据的特征空间增强

    本文提出了一种新方法，通过在特征空间中使用来自具有丰富样本的类别所学习的特征来增强特征空间中的欠表示类别，从而解决长尾分布问题。通过使用类别激活映射，将每个类别的特征分解为类别通用和类别特定部分，并将欠表示类别的类别特定特征与混淆类别的类别通用特征融合，实时生成新样本。结果表明，在 iNaturalist、ImageNet-LT、Places-LT 以及 CIFAR 的长尾版本等数据集上，本文所提出的方法展现了最先进的表现水平。

    Aug, 2020

  • 保留好的，移除坏的：动量因果作用解决长尾分类问题

    本文提出了基于因果推断的长尾分类解决方案，发现 SGD 动量在长尾分类中具有有害的因果作用和有益的中介作用，并利用训练中的因果干预和推理中的反事实推理来优化模型，在三个视觉识别基准上取得了最新的最优表现。

    Sep, 2020