弃权排名
通过引入新的代理损失函数,分析了多类别分类中学习与弃权的打分式公式,证明了这些代理损失函数的非渐近性和假设集特定一致性保证上界了弃权损失函数的估计误差,实验评估了新算法在几个数据集上的效果并展示了阶段性弃权算法的实际重要性。
Oct, 2023
我们研究了多类别分类中的学习与弃权的关键框架,介绍了一系列新的理论和算法结果,提出了几个新的代理损失函数家族,并分析了单阶段和两阶段学习设置的保证和应用,证明了我们的代理损失的优越性,并展示了广泛适用的两阶段弃权算法的卓越性能。
Oct, 2023
通过将放弃预测视为缺失数据,本文提出了一种新的方法和角度来评估和比较弃权分类器,并借助观察因果推断的工具,开发了非参数和双重保守估计方法来有效地估计该数量。
May, 2023
本研究采用贝叶斯方法研究了具有放弃反馈的基于池的主动学习问题,提出了两种新的贪心算法,同时学习分类问题和未知的放弃率,证明了这两种算法均具有近似最优保证,并在各种实际情况下进行了实验验证。
Jun, 2019
在关键应用中,分类器将决策推迟给人类至关重要。我们提出了一种事后方法,使现有分类器有选择地放弃对某些样本的预测。我们的放弃分类器被激励以在满足用户指定的组公平性定义时保持原始准确性,同时实现一组群体公平性的程度。为此,我们设计了一种整数规划过程,为每个训练样本分配放弃决策以满足一组约束条件。为了将放弃决策推广到测试样本,我们训练了一个代理模型,以端到端的方式根据整数规划解决方案学习放弃决策。我们分析了整数规划过程的可行性,以确定实现无害性所需的不公平容忍度和准确性约束的可能放弃率。据我们所知,这项工作是首次确定约束参数与所需放弃率之间的理论关系。由于人力资源的不足,高放弃率在实践中通常是不可行的,因此我们的理论结果是重要的。我们的框架在保持类似放弃率时,在公平差异方面优于现有方法而不牺牲准确性。
Oct, 2023
本研究提出一种介于纯随机和完全对抗的序列预测模型,可在不损失成本的情况下避免对注入干扰项的干净标签对抗(或超出分布)示例进行预测;同时使用 VC 维度来量化不确定性,且不需要访问条件分布。
Jun, 2023
针对误差关键的机器学习应用中存在的可能放弃预测(或选择性预测)的问题,本研究在非参数异方差回归问题上提出了一种通过对给定点上的条件方差值进行假设检验的放弃过程。与已有方法不同,提出的方法不仅考虑方差本身的值,还考虑相应方差预测器的不确定性。我们对得出的估计器的风险证明了非渐进界限,并展示了多个不同的收敛模式。理论分析通过一系列的模拟和真实世界数据实验进行了说明。
Sep, 2023
神经信息检索 (NIR) 通过启发式的信息检索系统显著改进,但是仍然存在频繁的失败,通常所使用的模型无法检索与用户查询相关的文档。我们通过提出一个轻量级的针对现实约束的弃权机制,特别强调重新排名阶段,以解决这个挑战。我们在黑盒场景下介绍了一个评估弃权策略的协议,证明了其效果,并提出了一个简单而有效的数据驱动机制。我们提供了实验复现和弃权实现的开源代码,促进其在不同环境中的更广泛应用。
Feb, 2024
研究活动学习的算法,其中标签器不仅可以返回不正确的标签,还可以放弃标记,利用放弃响应提出的算法在噪声和放弃率的自然假设下分析了其统计一致性和查询复杂度,并与下限相结合,证明在某些技术条件下,它实现了近乎最佳的查询复杂度 。
Oct, 2016
本文提出一种 “Post-Abstention” 任务来增加自然语言处理系统的覆盖率并保持准确度,通过对 11 个 QA 数据集的全面实验证明,该方法可以显著提高性能指标。
May, 2023