基于成本拒绝的回归

Nov, 2023

Regression with Cost-based Rejection

Xin Cheng, Yuzhou Cao, Haobo Wang, Hongxin Wei, Bo An...

TL;DR针对具有连续和无限目标空间的回归问题，提出了一种新颖的基于成本拒绝的回归模型，其可以通过考虑拒绝成本来拒绝对某些示例进行预测。该研究首先建立了该问题的期望风险模型，然后导出了贝叶斯最优解，表明当使用均方误差作为评估指标时，最优模型应拒绝对方差大于拒绝成本的示例进行预测。此外，提出使用考虑拒绝作为二分类的替代损失函数进行模型训练，并提供了模型一致性的条件，表明我们提出的替代损失函数可以恢复贝叶斯最优解。大量实验证明了我们提出方法的有效性。

Abstract

learning with rejection is an important framework that can refrain from making predictions to avoid critical mispredictions by balancing between prediction and rejection. Previous studies on cost-based rejection

learning with rejection cost-based rejection regression rejection cost surrogate loss

发现论文，激发创造

基于代价敏感分类的拒绝分类

本文提出了一个基于代价敏感分类器的集成学习方法，用于分类与拒绝模型，它允许灵活选择损失函数并且适用于二分类和多分类情形。实验结果表明我们提出的方法在不同类型的分类任务中表现良好。

Oct, 2020

无拒绝学习在具有拒绝的回归问题中的最优性

学习与拒绝是研究人类与人工智能在预测任务中相互作用的典型模型，其包含预测者和拒绝者两个组件。我们探讨了回归与拒绝问题，并研究了将该问题视为标准回归任务学习预测者的无拒绝学习策略。通过扩大预测者的函数类，我们发现无拒绝学习策略的次最优性可以得到缓解。在研究中，我们引入了截断损失来单独针对预测者进行学习，并展示了比联合学习更容易建立预测者的一致性替代性。我们的研究结果支持先使用所有数据来学习预测者，然后根据拒绝者的预测损失进行标定的两步学习过程。这更符合常识，即更多的数据样本将会获得更好的预测者，并需要更多的努力设计用于学习拒绝者的标定算法。虽然我们主要讨论了回归问题，但理论结果和观点同样适用于分类问题。

Jul, 2023

关于多类分类与拒绝机制的校准

本文研究了多类别分类问题中的拒绝机制，提出了同时训练分类器和拒绝器的方法，并探讨了针对更广泛损失函数的可接受标准，最终通过实验验证了理论发现的相关性。

Jan, 2019

带有拒绝机制的分层对抗鲁棒性

针对分类器的对抗训练模型中的拒绝选项，根据拒绝代价模型，提出了一种新的防御方法 —— 基于一致性预测的拒绝的对抗训练模型，实验证明在强适应性攻击中具有明显的性能优势。

May, 2023

通过学习密度比进行拒绝

通过改变监督学习流程和优化损失函数的风险，提出了一种以拒绝为基础的学习范式，通过利用密度比率来决定模型的拒绝决策，并在干净和噪声数据集上进行了实证测试。

May, 2024

无监督拒绝式异常检测

本文中我们介绍了一种基于稳定度指标的模型可靠性评估方法，进而通过选择合适的阈值进行异常数据的检测与过滤，实验结果表明我们的模型优于某些基于不确定性度量的方法。