深度神经网络在对抗攻击中易受攻击，现有的对抗训练方法在平衡数据集上表现良好，但实际情况中长尾分布的数据样本下该方法的有效性存疑。本文研究了长尾分布下的对抗训练，发现仅利用平衡 Softmax 损失函数可以在降低训练开销的同时达到与之前方法相当的性能；此外，通过数据增强技术，我们发现长尾分布下的对抗训练不仅可以减轻过拟合问题，而且可以显著提高鲁棒性；我们还发现增加训练样本的多样性是提高鲁棒性的原因。在 CIFAR-10-LT 上的 AutoAttack 中，与 RoBal 相比，平衡 Softmax 损失函数与数据增强的组合能够使模型的鲁棒性提高 6.66%。

Mar, 2024

本文研究了在服从长尾分布的数据集上的对抗训练，相较于平衡数据集上的对抗训练，该过程会产生不均匀的对抗性样本和不平衡的特征嵌入空间，导致模型对尾部数据的鲁棒性和准确性低。为了解决这一问题，我们提出了一种新的对抗训练框架 —— 再平衡对抗训练（REAT），该框架包括两个组件：（1）通过有效数术语来指导模型生成更平衡和有信息的对抗性样本的新训练策略；（2）精心构建的惩罚函数来强制获得令人满意的特征空间。不同数据集和模型结构上的评估结果证明 REAT 可以有效提升模型的鲁棒性并保持模型的准确性。代码可以在此 URL 中找到。

Jul, 2023

本文提出了一种基于鲁棒性理论的新型损失函数，旨在解决深度模型在处理不平衡数据时的分类偏差问题，从而提高对于长尾类别的识别准确性。在多项基准测试中，通过降低特征空间中头类别的表示偏差，该方法相较于已有方法以及 SOTA 方法均得到了更好的效果。

Apr, 2021

使用高度资源有效的二进制神经网络作为骨干结构来学习长尾分布，通过校准和蒸馏框架利用平衡数据集上的预训练全精度模型作为教师，结合对目标函数术语的对抗平衡和高效的多分辨率学习方案，在 15 个数据集上对最新的长尾数据集进行了最大规模的实证研究，结果显示我们的方法在平均上大幅优于现有技术（>14.33%）。

Mar, 2024

本研究通过将长尾分布建模为不平衡领域，一般分布建模为平衡领域，提出了一种基于域适应的长尾识别解决机制。该机制通过松弛一般化误差界限、优化不平衡和平衡领域的经验风险、以及利用类内和类间距离来逼近域分歧，以可解释的方式将基于长尾分布的模型适应到一般分布中，实验结果验证了其在图像识别、物体检测和实例分割等方面达到了最先进的性能水平。

Oct, 2021

研究了在长尾标签分布下标签噪声问题，提出了一种新的原型噪声检测方法及一个鲁棒的框架，该框架通过软伪标签技术和半监督学习算法进一步提高了泛化性能，并且在基准和真实数据集上表现优于现有基线模型，尤其是比 DivideMix 模型测试精度高出 3％。

Aug, 2021

本文提出了一种新的解决长尾图像识别中头尾偏差问题的方法，通过调整标签空间来平衡数据，从而提高分类性能。实验证明该方法可应用于多种模型，并为长尾特征学习提供了思路。

Aug, 2022

本文从领域自适应的角度分析了分类中长尾类别分布的问题，提出了基于元学习的显式估计类别条件分布差异的方案，并在六个基准数据集和三个损失函数上进行了验证。

Mar, 2020

本文提出了一种称为分布平衡损失函数的新方法，用于解决多标签识别问题中遇到的长尾类分布、标签共现和负标签占主导的问题，并通过实验验证了该方法的有效性。

Jul, 2020

本文提出了一种新型的长尾分类器 RIDE，通过多个专家、分布感知多样性损失以及动态专家路由模块来减小模型方差、缩小模型偏差与尾部的差距，相较于现有的方法，在 CIFAR100-LT、ImageNet-LT 和 iNaturalist 2018 基准测试上性能提高了 5％到 7％，并可应用于各种主干网络和长尾算法，具有较高的普适性和一致性性能。

Oct, 2020