深度赌徒：使用投资组合理论学习戒赌

Jun, 2019

深度赌徒：使用投资组合理论学习戒赌

Deep Gamblers: Learning to Abstain with Portfolio Theory

Liu Ziyin, Zhikang Wang, Paul Pu Liang, Ruslan Salakhutdinov, Louis-Philippe Morency...

TL;DR本文提出了一种基于赌博翻倍率的损失函数，通过将原本的多分类问题转化成带有拒绝选项的问题，实现了在最佳数据覆盖率下的最佳性能。该损失函数不需要对模型推理算法或架构进行修改，可以有效地处理神经网络训练中的不确定性，同时在 SVHN 和 CIFAR10 数据集上实现了较强的结果。

Abstract

We deal with the \textit{selective classification} problem (supervised-learning problem with a rejection option), where we want to achieve the best performance at a certain level of coverage of the data. We transform the original $m$-class classification problem to $(m+1)$-class where

selective classification neural networks disconfidence gambling uncertainty

发现论文，激发创造

预测者 - 排斥者多类弃权：理论分析与算法

我们研究了多类别分类中的学习与弃权的关键框架，介绍了一系列新的理论和算法结果，提出了几个新的代理损失函数家族，并分析了单阶段和两阶段学习设置的保证和应用，证明了我们的代理损失的优越性，并展示了广泛适用的两阶段弃权算法的卓越性能。

Oct, 2023

基于理论基础的得分为基础的多类弃权的损失函数和算法

通过引入新的代理损失函数，分析了多类别分类中学习与弃权的打分式公式，证明了这些代理损失函数的非渐近性和假设集特定一致性保证上界了弃权损失函数的估计误差，实验评估了新算法在几个数据集上的效果并展示了阶段性弃权算法的实际重要性。

Oct, 2023

弃权排名

我们介绍了一种新的排名框架，其中学习器可以以有限的代价 $c$ 放弃对某些预测的判断，并对这个框架进行了广泛的理论分析，包括一系列 $f$- 一致性边界，达到了此领域的最新理论保证水平，我们进一步提出，这种新的放弃策略在使用常见的等连续假设空间时显得尤为重要，我们还报告了实验结果，证明了带放弃策略的排名方法的有效性。

Jul, 2023

选择性分类可能放大群组间的差异

本文研究了分类模型的选择性分类方法，发现在存在虚假相关性时，选择性分类可以提高平均准确度，但会放大不同群体之间的准确度差异。我们的分析表明，对于对称边缘分布，选择性分类是通过完全覆盖（即没有犹豫）下的准确度和分布是否满足左对数凹性质来确定改善或恶化准确度。基于我们的分析，我们训练了分布稳健模型，并表明选择性分类可以在这些模型上统一改进每个群体的准确性。

Oct, 2020

朝着更好的选择性分类

本文提出了一种在分类器内部实现选择机制的方法与一种基于熵的正则化器，并取得了新的最高水平表现。

Jun, 2022

具有弃权的多臂赌博机

我们介绍了多臂赌博问题的一种新颖扩展，它包括一个额外的战略要素：弃权。在这个增强的框架中，智能体不仅在每个时间步骤中被要求选择一个臂，还可以选择在观察之前放弃接受随机瞬时奖励。当选择放弃时，智能体将遭受固定的后悔或获得保证的奖励。在这种增加的复杂性下，我们问是否能够开发出既渐近最优又极小最优算法。通过设计和分析算法，我们肯定地回答了这个问题，使得后悔满足相应的信息论下界。我们的结果为放弃选项的好处提供了有价值的定量洞察，为进一步探索其他具有这种选项的在线决策问题打下了基础。数值结果进一步支持了我们的理论发现。

Feb, 2024

通过弃权实现序列预测中的对抗韧性

本研究提出一种介于纯随机和完全对抗的序列预测模型，可在不损失成本的情况下避免对注入干扰项的干净标签对抗（或超出分布）示例进行预测；同时使用 VC 维度来量化不确定性，且不需要访问条件分布。

Jun, 2023

深度神经网络选择性分类基准测试

通过对包含图像和表格数据的多样化数据集进行实证评估，该研究对 18 种基线模型进行基准测试，比较了它们在选择错误率、实证覆盖率、被拒绝实例类别分布以及在分布外实例上的性能等多个方面的表现，结果显示没有一个明确的最佳方法，最好的方法取决于用户的目标。

Jan, 2024

具有放弃反馈的贝叶斯主动学习

本研究采用贝叶斯方法研究了具有放弃反馈的基于池的主动学习问题，提出了两种新的贪心算法，同时学习分类问题和未知的放弃率，证明了这两种算法均具有近似最优保证，并在各种实际情况下进行了实验验证。

Jun, 2019

通过测试的选择非参数回归

针对误差关键的机器学习应用中存在的可能放弃预测（或选择性预测）的问题，本研究在非参数异方差回归问题上提出了一种通过对给定点上的条件方差值进行假设检验的放弃过程。与已有方法不同，提出的方法不仅考虑方差本身的值，还考虑相应方差预测器的不确定性。我们对得出的估计器的风险证明了非渐进界限，并展示了多个不同的收敛模式。理论分析通过一系列的模拟和真实世界数据实验进行了说明。

Sep, 2023