过去几十年,数据分析和机器学习领域的大部分工作都致力于优化预测模型,并取得比现有模型更好的结果。然而,本文指出对于很多应用而言,更加重要的并非准确的预测,而是变异性或不确定性。本文进一步探讨了让每个人了解不确定性、意识到其重要性并学会拥抱而不是害怕不确定性的世界,对一种确定性估计准确性的具体框架 —— 被称为 “符合性预测” 的框架进行了细致研究。而且,无需对数据进行参数假设,这一非参数结果在渐近程度上也不必依赖大数定律,使得这个框架成为唯一值得称为 “无分布假设” 的框架。
May, 2024
研究在稀疏假设下,用广义基准法进行不确定性量化的超高维线性回归问题,提出了概率密度函数构建方法,参数置信区间计算方法,验证了其严格的渐进频率性质,并通过仿真实验和实际数据的应用进行了实证表现,同时是将费舍尔基准方法应用于 “大 p 小 n” 问题的首次尝试。
Apr, 2013
通过后处理的抽样策略估计数据不确定性,该方法可用于任何前馈确定性网络,能生成多样化的预测分布,并与预测误差有着良好的相关性。
Aug, 2023
本文考虑面向分布无关的预测推断问题,目标是生成有条件而非边缘的预测覆盖保证。我们旨在探索边缘覆盖保证的实际问题,并研究一些能够缓解一些实际关注的条件覆盖性质松弛类型,同时仍能在分布无关的环境下实现。
Mar, 2019
提出了一种利用机器学习进行预测的统计推断框架,可有效计算均值、分位数、线性和逻辑回归系数的置信区间,适用于蛋白质组学、基因组学等多种领域。
Jan, 2023
介绍一种无需分布假设或模型假设,可用于任何预训练模型(如神经网络)生成 100% 正确性置信区间(信赖区间)的方法, 称之为一致预测;并提供了 Python 示例代码和 Jupyter 笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。
Jul, 2021
基于自监督学习,基础模型可通过零样本能力对以前未见过的类别进行分类,并使用网络数据进行不确定性的估计;本文提出了一种使用具有与网络数据获取的潜在错误相关的新型一致性评分的拟合预测的不确定性估计的启发式方法,在生物医学基础模型中进行评估,并取得了满意的效果。
Oct, 2023
本文介绍了一种基于黑盒预测器实现集值预测、控制用户指定水平下的未来测试点期望损失大小以及使用 holdout 集来校准优化预测集大小的方法,这种方法能够提供简单、分布自由和严密的误差控制,适用于多个任务,如分类问题、多标记分类、分类问题中带有层次结构的标签、图像分割和蛋白质结构预测,还有拓展探讨。
Jan, 2021
在成像逆问题中,通过缺失或损坏的测量数据来恢复图像是一个不适定问题,因此我们提出了一种以任务为中心的方法来量化测量和恢复过程中引起的不确定性,其中使用符合性预测构建了一个区间,并保证以用户指定的概率包含真实图像的任务输出,并使用该区间的宽度来量化由测量和恢复产生的不确定性,我们还提出了一种在多轮测量中停止,直到任务的不确定性降至可接受水平的方法,该方法在加速磁共振成像 (MRI) 上进行了验证。
基于约束优化问题的解决方案,我们提出 “预测刚性” 作为一种获取任意预训练回归器的不确定性的方法,并建立了我们的框架与贝叶斯推理之间的强连接。我们还开发了一种最后一层逼近,使得这种方法可以应用于神经网络,并且不需要对神经网络本身或其训练过程进行任何修改。我们在从简单玩具模型到化学和气象学应用的各种回归任务中展示了我们方法的有效性。
Mar, 2024