基于理论基础的得分为基础的多类弃权的损失函数和算法
我们研究了多类别分类中的学习与弃权的关键框架,介绍了一系列新的理论和算法结果,提出了几个新的代理损失函数家族,并分析了单阶段和两阶段学习设置的保证和应用,证明了我们的代理损失的优越性,并展示了广泛适用的两阶段弃权算法的卓越性能。
Oct, 2023
我们介绍了一种新的排名框架,其中学习器可以以有限的代价 $c$ 放弃对某些预测的判断,并对这个框架进行了广泛的理论分析,包括一系列 $f$- 一致性边界,达到了此领域的最新理论保证水平,我们进一步提出,这种新的放弃策略在使用常见的等连续假设空间时显得尤为重要,我们还报告了实验结果,证明了带放弃策略的排名方法的有效性。
Jul, 2023
通过将放弃预测视为缺失数据,本文提出了一种新的方法和角度来评估和比较弃权分类器,并借助观察因果推断的工具,开发了非参数和双重保守估计方法来有效地估计该数量。
May, 2023
本研究采用贝叶斯方法研究了具有放弃反馈的基于池的主动学习问题,提出了两种新的贪心算法,同时学习分类问题和未知的放弃率,证明了这两种算法均具有近似最优保证,并在各种实际情况下进行了实验验证。
Jun, 2019
使用一种新的损失函数来训练深度神经网络进行分类并进行避免错标操作,使 DNN 在困惑的样本上避免误差,并在非避免的样本上继续学习和提高分类性能,并证明其在不同类型的标签噪声下的强大实用性
May, 2019
在关键应用中,分类器将决策推迟给人类至关重要。我们提出了一种事后方法,使现有分类器有选择地放弃对某些样本的预测。我们的放弃分类器被激励以在满足用户指定的组公平性定义时保持原始准确性,同时实现一组群体公平性的程度。为此,我们设计了一种整数规划过程,为每个训练样本分配放弃决策以满足一组约束条件。为了将放弃决策推广到测试样本,我们训练了一个代理模型,以端到端的方式根据整数规划解决方案学习放弃决策。我们分析了整数规划过程的可行性,以确定实现无害性所需的不公平容忍度和准确性约束的可能放弃率。据我们所知,这项工作是首次确定约束参数与所需放弃率之间的理论关系。由于人力资源的不足,高放弃率在实践中通常是不可行的,因此我们的理论结果是重要的。我们的框架在保持类似放弃率时,在公平差异方面优于现有方法而不牺牲准确性。
Oct, 2023
本文提出了一种基于赌博翻倍率的损失函数,通过将原本的多分类问题转化成带有拒绝选项的问题,实现了在最佳数据覆盖率下的最佳性能。该损失函数不需要对模型推理算法或架构进行修改,可以有效地处理神经网络训练中的不确定性,同时在 SVHN 和 CIFAR10 数据集上实现了较强的结果。
Jun, 2019
本研究提出一种介于纯随机和完全对抗的序列预测模型,可在不损失成本的情况下避免对注入干扰项的干净标签对抗(或超出分布)示例进行预测;同时使用 VC 维度来量化不确定性,且不需要访问条件分布。
Jun, 2023
本文探讨了一种适用于分类器在对抗样本上放弃输出任何类别 (即通过放弃输出任何类别来实现对抗鲁棒性) 的情况下的对抗鲁棒性问题,提出了一种新的带有放弃选项的对抗鲁棒性目标函数,并提出了一个基于该目标函数的基准,最后提出了一种 Combined Abstention Robustness Learning (CARL) 方法来实现分类器及其应该放弃输出的输入空间的区域的联合学习。通过对 PGD 和 DeepFool 等攻击的评估,得出使用 CARL 训练的分类器比基准分类器更精确、更鲁棒、更有效。
Nov, 2019
我们介绍了多臂赌博问题的一种新颖扩展,它包括一个额外的战略要素:弃权。在这个增强的框架中,智能体不仅在每个时间步骤中被要求选择一个臂,还可以选择在观察之前放弃接受随机瞬时奖励。当选择放弃时,智能体将遭受固定的后悔或获得保证的奖励。在这种增加的复杂性下,我们问是否能够开发出既渐近最优又极小最优算法。通过设计和分析算法,我们肯定地回答了这个问题,使得后悔满足相应的信息论下界。我们的结果为放弃选项的好处提供了有价值的定量洞察,为进一步探索其他具有这种选项的在线决策问题打下了基础。数值结果进一步支持了我们的理论发现。
Feb, 2024