分布偏移下的自适应符合推断
本文提出了一种模型无关的贝叶斯在线学习方法,通过整合变点检测、切换动态系统和贝叶斯在线学习的思想来同时推断这些分布漂移并根据检测到的变化适应模型,能够在监督和无监督学习环境中使用,适用于概念漂移或协变漂移的环境,并在贝叶斯在线学习方法方面取得了改进。
Dec, 2020
本文提出拓展 Conformal Prediction 方法,可计算在测试和训练协变量分布不同的情况下的无分布预测区间,同时在数据满足一定加权交换性的情况下,拓展还可以应用于其他设置,如潜在变量和缺失数据问题。
Apr, 2019
本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型,使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集,通过估计数据漂移量建立了鲁棒性,并在多个基准数据集上进行了实验证明了该方法的重要性。
Aug, 2020
通过两种新方法 ECP 和 EACP,根据基模型在未标记测试数据上的不确定性调整 CP 中的评分函数,从而仅使用测试域中的未标记数据改进 CP 生成的预测集的质量。通过对许多大规模数据集和神经网络架构进行广泛实验,我们展示了我们的方法相对于现有基准算法的持续改进,并几乎与监督算法的性能相匹配。
Jun, 2024
机器学习系统中风险量化与控制的研究,集中在处理 ML 系统收集自身数据时产生的数据分布变化问题,通过扩展 conformal prediction 理论以适应任意数据分布,并提出了针对特定数据分布的可行算法,以解决这一挑战。
May, 2024
研究在线情况下的不确定性量化问题,提出新的自适应后悔最小化算法用于在线共形预测,证明了该方法实现了近似最优的自适应后悔和适当的预测覆盖,同时在时间序列预测和图像分类等实际任务上对现有方法具有明显的优势。
Feb, 2023
本文利用大规模数据集和模型对多种 conformal 方法和神经网络家族的性能进行了实际评估,证明了这些方法在分布转移和长尾设置下的性能严重下降,需要了解这些方法的局限性以在实际应用和安全关键应用中部署
Jul, 2023
本文提出了基于随机化的方法来拓展符合推理的应用,使其能适用于时间序列数据,并通过引入分块结构来考虑潜在的串行相关性。当数据是独立同分布或更普遍地可交换时,该方法与传统的符合推理方法具有相同的无需模型的有效性;当数据不可交换时,如常见的时间序列数据,该方法在对符合程度得分的弱假设下也具有近似的有效性。
Feb, 2018
本文提出了基于顺应性推断的无分布预测推断的一般框架,并通过分析和比较其两个主要变体:完整顺应性推断和分裂顺应性推断以及相关的 jackknife 法,作出了在统计准确度和计算效率之间的不同权衡。与此同时,本文还发展了一种构建有效样本内预测间隔的方法,称为 “排名为一” 的顺应性推断。本文提出的所有提案的实施都可以使用 R 包 “conformalInference” 进行。
Apr, 2016
发展了一种方法来获得无分布预测区域,以描述不同环境下数据的分布差异,应用于机器学习中的无变异风险最小化(IRM)模型,基于加权遵从得分构造自适应遵从区间,并证明其条件平均值在某些条件下,通过模拟实验和实际案例的应用证明方法的有效性。
May, 2023