自适应适应性风险控制
研究一种基于条件风险价值(CVaR)的风险规避统计学习框架,提出了基于随机梯度下降的算法。对于凸和 Lipschitz 的损失函数,该算法收敛到最优 CVaR,而对于非凸和平滑的损失函数,该算法在 CVaR 上的泛化界表现良好。通过在各种机器学习任务上进行数值实验,证明了该算法有效地将 CVaR 最小化。
Feb, 2020
机器学习算法在实际应用中发展日益复杂,特别是在医学和工程等高风险应用中使用机器学习技术时,预测模型的失败概率至关重要。我们提出了风险评估任务,并侧重于回归算法和计算模型预测的真实标签在一个定义好的区间内的概率。我们通过使用符合预测方法来解决风险评估问题,该方法提供了一定概率内包含真实标签的预测区间。通过该覆盖性质,我们证明了所提方法的近似失败概率是保守的,不低于 ML 算法的真实失败概率。我们进行了大量实验证明了所提方法在存在和不存在协变量转移的问题中的准确性,并重点研究了不同建模方案、数据集大小和符合预测方法学。
Oct, 2023
在机器学习应用中,我们提出了一种风险规避的训练模型的方法,它通过优化在最难的样本上的表现来提高模型的稳定性和可预测性,关键是利用分布式随机优化算法和结构化行列式点过程进行大规模的学习任务。
Oct, 2019
本论文提出一种非交换可行的符号风险控制框架,用于控制数据不可交换情况下的任意单调损失函数的期望值,并通过在测试示例中基于其统计相似性的权重选择,使得我们的框架在存在变化点、时间序列或其他形式的分布漂移时更有用。实验表明我们的方法的实用性。
Oct, 2023
机器学习系统中风险量化与控制的研究,集中在处理 ML 系统收集自身数据时产生的数据分布变化问题,通过扩展 conformal prediction 理论以适应任意数据分布,并提出了针对特定数据分布的可行算法,以解决这一挑战。
May, 2024
本文扩展了符合预测的范畴,使其可以控制任何单调损失函数的期望值,并提出了符合风险控制过程。从计算机视觉和自然语言处理方面的实例证明了我们算法在限制误差率,图距离和标牌级别 F1 得分方面的应用。
Aug, 2022
本文介绍了一种基于黑盒预测器实现集值预测、控制用户指定水平下的未来测试点期望损失大小以及使用 holdout 集来校准优化预测集大小的方法,这种方法能够提供简单、分布自由和严密的误差控制,适用于多个任务,如分类问题、多标记分类、分类问题中带有层次结构的标签、图像分割和蛋白质结构预测,还有拓展探讨。
Jan, 2021
通过允许模型在性能近乎相等的群体上产生微小概率差距的方法,基于条件风险价值 (CVaR) 提出了一种检测性能差异的方法;同时证明了具有特定先验分布权重的情况下,Rényi 熵阶数为 2/3 的先验分布可以捕获所提出的 CVaR 测试算法的样本复杂性。
Dec, 2023
通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区,再通过 Inductive Venn 预测器进行校准,从而实现对不确定性的量化和计算机分类模型预测集的标记,进而实现最终任务的目标。
May, 2022