迭代样本加权优化黑盒指标
提出使用带权损失函数和标准损失函数来处理复杂测试度量和数据分布不一致问题,并且权重可以学习适应任何测试指标,公式支持的各个实际场景和标准数据集的实验结果表明该方法的性能得到重大改善并且还提供了一种方法的一般化范围。
May, 2018
该研究提出了一种基于元学习和梯度下降的新算法,来对训练样本进行权重分配,从而达到解决深度神经网络在训练集偏差和标签噪声方面的过度拟合问题,而不需要额外的超参数调整,并在少量有干净核准数据的情况下,实现了在类别不平衡和标签污染问题上的出色性能。
Mar, 2018
本文提出了一种简单的方法,通过从非参数核回归中的一些想法得出训练实例的加权总和来预测标签,并在符合性方法的框架内提出了一种新的非一致性测量法,实验验证了理论预期,证明了在不影响准确性或校准的情况下,提高了透明度、可控的错误率和抵抗域外数据的鲁棒性。
Nov, 2018
研究了在机器学习中,每个训练周期都是将梯度步骤视为朝着最小化每个批次的例子的平均损失的方向,其中噪声会导致过度拟合到损失值较大的噪声样本,提出了一种使用指数梯度更新的加权学习方法,适用于一系列噪声类型和应用场景的损失函数。
Apr, 2021
本文提出了一种完整的理论框架来形式化加权分类度量标准,并构建了可优化这些度量标准的损失函数。该框架包括了经典的成本敏感学习、加权交叉熵损失函数和价值加权技能得分等方法作为特例。
May, 2023
本文介绍了一种名为 MetricOpt 的方法,它通过学习可微的价值函数,实现直接优化任意不可导的任务评估指标,并在图像分类、图像检索和目标检测等多个领域取得了最先进的性能表现。
Apr, 2021
通过从预测源分布和指定目标分布之间的转移函数中得出样本权重,我们提出了一种简单的方法来选择高度不平衡或偏斜特征问题的样本权重。该方法在回归和分类任务上优于无权重和离散权重模型,并把该算法实现开源给科学界。
Mar, 2021
提供了一个实用的、统计上连贯的方案,可在通用损失函数下主动学习二分类器,该算法使用重要性加权来纠正抽样偏差,并通过控制变量来给出严格的标签复杂性界限,实验表明,该方法减少了实现许多学习问题的良好预测性能所需的标签复杂性。
Dec, 2008
我们介绍和分析了一种通用的在线算法,适用于二元、多类和多标签分类问题中的各种复杂性能指标,该算法的更新和预测规则简单且计算效率高,无需存储任何过去的数据,而且对于凹函数和平滑度函数达到了 O (ln n/n) 的遗憾,并通过实证研究验证了所提算法的效率。
Jun, 2024