训练条件覆盖界限对于均匀稳定学习算法的影响
本文提出了一种新的方法来证明算法稳定性,并且在此基础上给出了关于多次随机梯度下降和正则ERM的高概率泛化界,同时也解决了一些之前的开放性问题。
Feb, 2019
本文介绍一种基于分位数回归和树状结构分类器的符合性预测方法,可以有效解决多分类和多标签问题中难易样本分布不均匀、信心区间过大等挑战,且可以和任何分类模型结合使用并保证有效性。
Apr, 2020
本论文将CP技术与经典算法稳定性界限相结合,提出了一种置信区间集合,可用单一模型拟合计算,并证明了该方法能够保证精度,避免了数据分割的需求,成功解决了传统方法无法处理连续未知变量y_n+1的瓶颈问题。
Dec, 2021
本文提出了一种广义的拟合的预测集来解决多可学习参数,通过考虑找到最有效的预测集的约束经验风险最小化问题,从而实现有效的经验覆盖。同时,本文还开发了一种基于梯度的算法来优化这个ERM问题以近似有效的覆盖和最优效率。
Feb, 2022
通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区,再通过 Inductive Venn 预测器进行校准,从而实现对不确定性的量化和计算机分类模型预测集的标记,进而实现最终任务的目标。
May, 2022
本文关注条件保证的合拟合预测问题,并提出了采用从校准数据中学习的不确定性引导特征来改进预测集的条件有效性的分区学习合拟合预测(PLCP)框架。我们在理论上分析了PLCP,并对无限和有限样本大小提供了条件保证。最后,我们在四个真实世界和人工合成数据集上的实验证明了PLCP在分类和回归场景中相对于最先进方法在覆盖率和长度方面的卓越表现。
Apr, 2024
该论文对用于分类的各种代理损失函数的$H$-一致性界限(和超额误差界限)的增长率进行了全面分析。我们证明了二分类中平滑边界为基础的代理损失函数在接近零时的平方根增长率,并在温和假设下提供了上下界限。我们还将此分析扩展到多类分类,并通过一系列新颖的结果展示了平滑comp-sum和约束损失的普遍平方根增长率。在这个普遍率的基础上,我们研究了不同代理损失函数的选择问题,并首先考察了$H$-一致性界限在不同类别的代理损失函数间的变化。然后,我们通过忽略常数并关注接近零时的行为,确定了最小化差距是这些界限差异化因素的关键。因此,我们深入分析这些差距,以指导代理损失函数的选择,并涵盖:对不同的comp-sum损失进行比较,差距变为零的条件,以及导致小差距的一般条件。此外,我们还展示了最小化差距在比较超额误差界限和$H$-一致性界限中的关键作用。
May, 2024
我们开发了一种新方法来创建预测集,它结合了符合性方法的灵活性和条件分布P(Y | X)的估计。我们的方法扩展了现有方法,实现了条件覆盖,这对许多实际应用至关重要。我们提供了非渐近界限,明确依赖于对条件分布的可用估计的质量,使得我们的置信集在数据的局部结构上高度自适应,特别适用于高异方差情况。通过广泛的模拟,我们证明了我们的方法的有效性,显示其在条件覆盖和统计推断的可靠性方面优于现有方法,在各种应用中提高了统计推断的可靠性。
Jul, 2024
本研究针对传统的保形预测方法在条件覆盖保证方面的不足,提出了一种新算法以改善条件覆盖。通过建立条件覆盖与名义覆盖率之间的失误覆盖差界限,提供了一个端到端的算法,实证结果表明该方法在合成和真实数据集上表现出色。
Sep, 2024