May, 2019

带有杰克刀 + 的预测推断

PDF
TL;DR本文介绍了一种新的方法 jackknife + 用于构建预测置信区间，并证明了如何它通过考虑最近自变量的离群值来提供严格的覆盖保证，与原始 jackknife 不同，而实验数据表明两种置信区间在稳健性较好的情况下能够实现几乎完全的覆盖且长度相似，此外我们还将 jackknife + 延伸到 K 倍交叉验证。
predictive confidence intervalsjackknife+regression functioncoverage guaranteesleave-one-out predictions
发现论文，激发创造
  • 用 Jackknife + 自助法进行预测推断是免费的

    提出了一种基于 Jackknife + 和 Bootstrap 的预测区间构建方法 (J+aB)，该方法只使用可用的 Bootstrap 样本及其对应的拟合模型，可以在不假设数据分布，拟合模型的性质或集成模型聚合方式的情况下提供保证，并可以免费进行模型拟合，实验结果验证了预测区间的覆盖率和准确性。

    Feb, 2020

  • 瑞士军刀无穷小千斤顶

    本文提出了一种称为 “无穷小套索” 的线性逼近方法，用于评估机器学习算法的误差，可以取代数据加权的反复拟合，适用于大数据集。该方法的理论适用于各种随机或确定性的数据和权重，可以广泛应用于机器学习领域，特别是在自动分化方面。

    Jun, 2018

  • 自适应一致回归：杰克刀 + 重新缩放的得分

    本文提出了一种新的自适应方法，基于重新缩放符合规范的分数与本地分数分布的估计，解决了不均匀覆盖率的问题，从而在不破坏校准检验可交换性的情况下利用校准数据进行符合规范的评分。该方法提供了一种新型的预测间隔，具有全局覆盖率保证，并且在低数据情况下表现更优，特别适用于需要准确量化不确定因素的实际应用，如医疗保健领域。

    May, 2023

  • 多环境场景下的预测推理

    在多个环境下进行预测的情况中，我们解决了构建有效置信区间和集合的挑战。通过扩展自助法和分割一致性方法，我们研究了适用于这些问题的两种覆盖类型，展示了如何在这些非传统的分层数据生成场景中获得无分布覆盖。我们还在非实数值响应的设置中进行了扩展，并在这些一般问题中建立了一致性理论。我们演示了一种新的调整方法以适应问题的难度，该方法既适用于具有分层数据的预测推断的现有方法，又适用于我们开发的方法；通过神经化学感应和物种分类数据集，我们评估了方法的实际性能。

    Mar, 2024

  • 多元线性回归模型的留一法预测区间

    研究了基于留一残差的预测区间在线性回归模型中的应用，该模型的解释变量个数可以比样本大小还大。在对未知错误分布和高维设计做出最小的假设的情况下，建立了所提出区间的统一渐近有效性。预测区间可适用于许多线性预测器，如强健 M 估计量、James-Stein 类估计量以及像 LASSO 的惩罚估计量。这些结果表明，尽管重新采样程序在对未知参数进行推理时存在严重问题，但留一出方法仍可以成功应用于高维数据，以获得可靠的预测推断。

    Feb, 2016

  • 通过高阶影响函数定量测量深度学习的不确定性的鉴别式 Jackknife 方法

    本论文描述了如何利用模型损失函数的影响函数构建频率学过程，以构建一种基于 Frequentist 的 Discriminative Jackknife 方法，用于估计深度学习模型的预测不确定性。实验表明，该方法相对于基于贝叶斯神经网络的方法和非贝叶斯回归基线表现具有竞争力。

    Jun, 2020

  • 具有有效和自适应覆盖范围的分类

    本文提出了新型一致性得分，结合适用于分类问题的定制化 Conformal inference、交叉验证、Jackknife 等方法，在保证边际覆盖率的前提下，也可以应对复杂的数据分布，其在合成数据和真实数据上获得实际价值和统计优势。

    Jun, 2020

  • 训练条件覆盖界限对于均匀稳定学习算法的影响

    我们从一致稳定性的角度研究全面稳定、杰克刀加和 CV + 预测区域的训练条件覆盖界限，这在具有凸正则化的再现核希尔伯特空间上的经验风险最小化中可靠，我们通过对（估计的）预测函数的集中性论证得出有限维模型的覆盖界限，并将其与岭回归下的现有界限进行比较。

    Apr, 2024

  • 一种高阶瑞士军刀微小尺度抽屉

    本文研究了一种高阶无穷小 jackknife 方法来评估机器学习和统计估计器的误差和变异性，并提供了计算所有阶数的递归过程及有限样本精度界限，此方法可在高维度下进行高效计算。

    Jul, 2019

  • 无分布条件下的回归预测推断

    本文提出了基于顺应性推断的无分布预测推断的一般框架，并通过分析和比较其两个主要变体：完整顺应性推断和分裂顺应性推断以及相关的 jackknife 法，作出了在统计准确度和计算效率之间的不同权衡。与此同时，本文还发展了一种构建有效样本内预测间隔的方法，称为 “排名为一” 的顺应性推断。本文提出的所有提案的实施都可以使用 R 包 “conformalInference” 进行。

    Apr, 2016