DRAUC: 一种基于实例的分布鲁棒AUC优化框架
本文提供了用于鉴定基于替代损失函数的学习方法渐近一致性的充分条件,并证明了指数损失和逻辑损失与AUC一致,但铰链损失是不一致的。基于这个结果,本文还推导了一些与AUC一致的损失函数,进一步揭示了指数损失和逻辑损失的相容界限以及在非噪声设置下许多替代损失函数的相容界限,并发现AdaBoost和RankBoost具有相同的指数代理损失。
Aug, 2012
本文提出了一种新的半监督AUC优化方法,不需要强限制假设,其基于正例和未标记数据的AUC优化方法(PU-AUC),并将其与监督AUC优化方法结合来实现半监督学习,理论证明了未标记数据对于PU和半监督AUC优化方法的泛化性能的改善有帮助,并通过实验证明了所提出方法的实用性。
May, 2017
本研究介绍了一种新的分布鲁棒学习方法,该方法通过加入无标签数据以限制敌手从指定分布中选择数据,可以有效地进行分类,并提出了一个分布鲁棒的版本,可应用于主动学习。在14个真实数据集上的结果表明,该算法往往在传统方法无法提供良好结果的情况下表现出色。
Dec, 2019
本文提出了一种可扩展的、可实现的随机额外梯度算法,用于解决Wasserstein DRSL框架下的分类问题,该算法采用方差缩减和随机重排,可达到更快的收敛速率,并在合成和真实数据上证明了其有效性。
Apr, 2021
提出了一种名为DORO的分布与离群点鲁棒优化框架,其中核心在于改进的风险函数,可以解决分布变化和离群点的问题,从而提高了机器学习的性能和稳定性。该方法有助于提升现代大型数据集的实验结果。
Jun, 2021
本文概述了过去20年中与AUC最大化相关的文献,不仅提供全面的文献综述,还从公式到算法和理论保证提供了详细的解释和比较,并对深度学习AUC最大化的剩余和新兴问题进行了讨论。提供未来工作的建议。
Mar, 2022
本文提出了基于分布鲁棒优化的方法,通过实例加权训练机器学习模型以实现模型在测试集分布不同的情况下准确预测,并给出了通过小批量归一化、KL惩罚和梯度同步更新三个简单的想法,应用广泛的参数化似然率,训练具有分布鲁棒性的模型的案例。实验表明,与其他DRO方法相比,使用参数化对手训练的模型在子样本移位时更具鲁棒性,并且该方法在很少的超参数调整下表现出可靠的性能。
Apr, 2022
本文提出了基于自适应采样的均衡自适应度量学习(BSPML)算法,该算法采用去噪多相似度计算,并将噪声样本作为极其困难的样本,并根据样本权重自适应删除样本以提高模型的稳健性和泛化能力。
Nov, 2022
我们提出了一种名为分布鲁棒安全筛选(DRSS)的方法,用于在DR协变量转变设置中识别不必要的样本和特征。该方法有效地将DR学习与安全筛选相结合,对模型训练之前的无关样本和特征进行了稀疏优化,实现了在特定范围内可靠地识别任何未来分布的不必要样本和特征。我们提供了DRSS方法的理论保证,并通过在合成和现实世界数据集上进行数值实验证实了其性能。
Apr, 2024