深度不平衡回归研究
通过分析回归问题中样本分布的不平衡导致的模型倾向于忽视不常见数据且过度关注常见目标的问题,我们提出了回归问题中不平衡的首次定义,并展示其为分类中常用的不平衡度量的推广。通过这一工作,我们希望引起人们对回归不平衡问题的关注,并为未来的研究提供共同的基础。
Feb, 2024
提出了 ConR,一种对深度不平衡回归问题进行有效处理的方法,它通过在特征空间中模拟全局和局部标签相似性,并且通过先进的方法显著提升了现有方法在三个大规模深度不平衡回归基准上的性能。
Sep, 2023
提出了一种针对 heteroskedastic 数据集的数据依赖正则化技术,该方法能同时解决标签不确定性和标签分布不均衡等问题,并在多个基准测试中证实了它的有效性。
Jun, 2020
在多个学科领域中发现,将目标转换为软目标可提高性能,本研究考察了分布式回归损失(distributional regression loss)在学习分布时的表现,并发现它在改善预测准确率方面显著提高,我们提供了理论支持,表明此损失由于其更好的梯度表现,易于优化导致了这种改进。
Jun, 2018
本文提出了一种基于类别不平衡的深度学习模型,使用小样本类别修正和难样本挖掘,通过迭代逐批次学习,最小化数量众多类别的影响。实验结果表明,该模型在处理不平衡数据学习问题上相比现有最先进模型具有性能优势和可扩展性。
Apr, 2018
本研究通过实验挑战了深度网络泛化不良的原因在于恢复 “正确” 特征失败的观点,并提出了一种新的领域调整回归(DARE)方法,该方法根据分布转移的新模型,通过域特定调整来统一一个规范潜在空间,并在该空间中学习预测。在有限环境下,该方法的收敛保证了最小最优预测器,相比之前的方法,该方法表现更好。
Feb, 2022
该研究提出了一种适用于回归问题的新型混合专家方法,利用个体专家的预测不确定性作为融合的依据,实现对不平衡数据的有效学习。实验结果表明,该方法优于现有备选方案,同时产生更好的不确定性估计。
May, 2023
深度学习方法在回归、分类和预测等各种数据驱动任务中取得了显著进展,但其进步往往建立在对训练数据集相对平衡的不切实际的假设上。然而,与现实世界中数据经常不平衡的情况不符,这削弱了这些模型在实际应用中的效果。本调查报告介绍了一些深度学习研究,摒弃了平衡数据的假设,并采用表征学习等策略来更好地逼近现实世界中的数据不平衡问题。我们还强调了在 SEP 预测中解决数据不平衡问题对成功至关重要。
Oct, 2023
通过从预测源分布和指定目标分布之间的转移函数中得出样本权重,我们提出了一种简单的方法来选择高度不平衡或偏斜特征问题的样本权重。该方法在回归和分类任务上优于无权重和离散权重模型,并把该算法实现开源给科学界。
Mar, 2021
本文介绍了一种概率深度学习模型,名为 Variational Imbalanced Regression (VIR)。该模型可以在标记分布不平衡的情况下,准确地进行回归,并自然地产生合理的不确定度估计,实验证明我们的 VIR 在准确性和不确定度估计方面均可优于现有的不平衡回归模型。
Jun, 2023