该研究旨在解决长尾型样本数据集中头部类别的偏差问题。通过设计一种基于实时测量类别难度的加权损失函数和数据采样技术来缓解偏差,并在多项任务上进行验证,包括图像分类、目标检测、实例分割和视频动作分类。在 ImageNet-LT、LVIS 和 EGTEA 等长尾型数据集上实现了最先进的效果。
Jul, 2022
本文提出了一种基于鲁棒性理论的新型损失函数,旨在解决深度模型在处理不平衡数据时的分类偏差问题,从而提高对于长尾类别的识别准确性。在多项基准测试中,通过降低特征空间中头类别的表示偏差,该方法相较于已有方法以及 SOTA 方法均得到了更好的效果。
Apr, 2021
本研究提出通过保留特定类别低频率的能力,并设计了一种有效的残差融合机制来缓解极不平衡数据分布的深度学习算法应用长尾数据分布时普遍存在的问题,通过在参数空间的角度来解决长尾识别问题,并在多个基准数据集上进行了测试,证明了方法的有效性。
Jan, 2021
本文系统总结了深度长尾学习的最新进展,围绕着类别再平衡、信息增强和模块改进三个主要类别对相关方法进行详细探讨,并通过提出的相对准确度评估指标对最先进的方法进行了实证分析,为深度长尾学习的应用和未来研究方向提供了重要的参考。
Oct, 2021
研究了在长尾标签分布下标签噪声问题,提出了一种新的原型噪声检测方法及一个鲁棒的框架,该框架通过软伪标签技术和半监督学习算法进一步提高了泛化性能,并且在基准和真实数据集上表现优于现有基线模型,尤其是比 DivideMix 模型测试精度高出 3%。
Aug, 2021
本文提出了通过使用平衡的特征损失,通过课程学习来加强长尾类别的激励,强化尾部类别的特征规范,从而提高了长尾问题的性能,并在多个受欢迎的长尾识别基准上实现了优越的性能增益。
May, 2023
这篇论文提出了一种新的长尾识别流程,通过利用长尾数据集本身生成一个平衡的代理,然后使用交叉熵进行优化。该方法使用了随机初始化的扩散模型,通过合成少数类别的新样本,并利用原始数据集中的关键信息过滤出有用的样本,而不需要任何外部数据或预训练模型权重,从而在 CIFAR10-LT、CIFAR100-LT 和 ImageNet-LT 等数据集上取得了领先竞争对手非常明显的最先进结果,同时具有丰富的解释性。
Mar, 2024
研究了一种针对长尾数据的方法,基于权重平衡和两阶段训练结合的经典正则化技术,通过分析神经崩溃和锥效应,发现该方法是通过权重衰减和交叉熵损失以及类平衡损失调整的隐式 logit 方法增加特征提取器的 Fisher 判别比率。研究表明,通过将训练阶段的数量减少到一个并提高准确性,可以进一步简化训练方法。
使用高度资源有效的二进制神经网络作为骨干结构来学习长尾分布,通过校准和蒸馏框架利用平衡数据集上的预训练全精度模型作为教师,结合对目标函数术语的对抗平衡和高效的多分辨率学习方案,在 15 个数据集上对最新的长尾数据集进行了最大规模的实证研究,结果显示我们的方法在平均上大幅优于现有技术(>14.33%)。
本文提出了一种通过权重均衡技术来解决长尾识别问题的方法,其中使用了 L2 正则化、权重衰减和 MaxNorm 约束等技术,通过两阶段训练,该方法在五种标准基准测试中取得了最先进的准确性,成为长尾识别未来的基线。
Mar, 2022