通过测试的选择非参数回归

Sep, 2023

Selective Nonparametric Regression via Testing

Fedor Noskov, Alexander Fishkov, Maxim Panov

TL;DR针对误差关键的机器学习应用中存在的可能放弃预测（或选择性预测）的问题，本研究在非参数异方差回归问题上提出了一种通过对给定点上的条件方差值进行假设检验的放弃过程。与已有方法不同，提出的方法不仅考虑方差本身的值，还考虑相应方差预测器的不确定性。我们对得出的估计器的风险证明了非渐进界限，并展示了多个不同的收敛模式。理论分析通过一系列的模拟和真实世界数据实验进行了说明。

Abstract

prediction with the possibility of abstention (or selective prediction) is an important problem for error-critical machine learning applic

prediction abstention regression variance heteroskedastic

发现论文，激发创造

合规化选择回归

通过利用针对模型特定偏差提供基于置信度的个体预测的坚实的置信度度量，我们提出了一种新的选择回归方法，并提出了一个标准化的评估框架，通过广泛的实验方法证明了我们的方法在多个最先进的基准测试中的优势。

Feb, 2024

弃权排名

我们介绍了一种新的排名框架，其中学习器可以以有限的代价 $c$ 放弃对某些预测的判断，并对这个框架进行了广泛的理论分析，包括一系列 $f$- 一致性边界，达到了此领域的最新理论保证水平，我们进一步提出，这种新的放弃策略在使用常见的等连续假设空间时显得尤为重要，我们还报告了实验结果，证明了带放弃策略的排名方法的有效性。

Jul, 2023

预测者 - 排斥者多类弃权：理论分析与算法

我们研究了多类别分类中的学习与弃权的关键框架，介绍了一系列新的理论和算法结果，提出了几个新的代理损失函数家族，并分析了单阶段和两阶段学习设置的保证和应用，证明了我们的代理损失的优越性，并展示了广泛适用的两阶段弃权算法的卓越性能。

Oct, 2023

基于不确定性估计的聚焦式回归模型无关解释

该研究提出了一种利用模型非参数不确定性估计的选择性回归方法，通过全面的基准测试在 69 个数据集上展示了该框架优于现有选择性回归方法的性能，并使用可解释的人工智能技术对选择性回归的动因进行了理解。

Nov, 2023

模型选择后的最优推断

该研究提出一种控制选择性 I 型错误的方法，以恢复经典情境下适用的选定假设的长期频率性质，推导出一些用于指数家族模型的最强无偏选择性检验和置信区间以及线性回归模型的新型选择性 z 和 t 检验。

Oct, 2014

选择性分类可能放大群组间的差异

本文研究了分类模型的选择性分类方法，发现在存在虚假相关性时，选择性分类可以提高平均准确度，但会放大不同群体之间的准确度差异。我们的分析表明，对于对称边缘分布，选择性分类是通过完全覆盖（即没有犹豫）下的准确度和分布是否满足左对数凹性质来确定改善或恶化准确度。基于我们的分析，我们训练了分布稳健模型，并表明选择性分类可以在这些模型上统一改进每个群体的准确性。

Oct, 2020

通过弃权实现序列预测中的对抗韧性

本研究提出一种介于纯随机和完全对抗的序列预测模型，可在不损失成本的情况下避免对注入干扰项的干净标签对抗（或超出分布）示例进行预测；同时使用 VC 维度来量化不确定性，且不需要访问条件分布。

Jun, 2023

后戒断期：针对 QA 中已弃用实例的可靠重新尝试

本文提出一种 “Post-Abstention” 任务来增加自然语言处理系统的覆盖率并保持准确度，通过对 11 个 QA 数据集的全面实验证明，该方法可以显著提高性能指标。

May, 2023

统计无偏回归：一种用于验证回归模型的机器学习方法

介绍了一种名为统计不可知回归（SAR）的方法，用于评估基于机器学习的线性回归的统计显著性，通过使用最坏情况分析的实际风险集中不等式。

Feb, 2024

随机响应下的选择性推断

研究了基于随机响应的选择推断，包括两个主要优点：更强大的选择有效检验和选择推断程序的一致估计和弱收敛。提出了一个框架，结合多个随机选择程序后的推断，并在经典渐近设置下进行了重点研究。

Jul, 2015