Feb, 2016

多元线性回归模型的留一法预测区间

PDF
TL;DR研究了基于留一残差的预测区间在线性回归模型中的应用，该模型的解释变量个数可以比样本大小还大。在对未知错误分布和高维设计做出最小的假设的情况下，建立了所提出区间的统一渐近有效性。预测区间可适用于许多线性预测器，如强健 M 估计量、James-Stein 类估计量以及像 LASSO 的惩罚估计量。这些结果表明，尽管重新采样程序在对未知参数进行推理时存在严重问题，但留一出方法仍可以成功应用于高维数据，以获得可靠的预测推断。
prediction intervalslinear regressionhigh-dimensional designpoint forecastleave-one-out residuals
发现论文，激发创造
  • 在线预测线性回归

    通过在线协议，本文针对线性回归问题中的预测版本进行了研究，提出了一种预测方法，能够在参数估计之前找到相关的预测间隔，最终得到的错误率符合预期的统计波动性。

    Jun, 2009

  • 高维线性模型低维参数的置信区间

    本文提出了一种针对高维数据中低维度参数的统计推断方法，重点在于构建线性回归模型中单个系数和多个系数的线性组合的置信区间，提出的估计器在趋于无穷时渐近正态，其有限维协方差矩阵的一致估计器满足充分条件，模拟结果证明了置信区间的覆盖概率准确性，强烈支持理论结果。

    Oct, 2011

  • 大数据贝叶斯留一验证

    模型推理是模型开发的重要部分，Leave-one-out 交叉验证方法在评估模型泛化能力方面普遍适用，但是不适用于大型数据集。我们提出了一种结合近似推理技术和大小为概率比例采样的方法，用于快速评估大型数据集的 LOO 模型，提供了理论和实证结果来说明其性能优良。

    Apr, 2019

  • 无分布条件下的回归预测推断

    本文提出了基于顺应性推断的无分布预测推断的一般框架，并通过分析和比较其两个主要变体：完整顺应性推断和分裂顺应性推断以及相关的 jackknife 法，作出了在统计准确度和计算效率之间的不同权衡。与此同时，本文还发展了一种构建有效样本内预测间隔的方法，称为 “排名为一” 的顺应性推断。本文提出的所有提案的实施都可以使用 R 包 “conformalInference” 进行。

    Apr, 2016

  • 带有杰克刀 + 的预测推断

    本文介绍了一种新的方法 jackknife + 用于构建预测置信区间，并证明了如何它通过考虑最近自变量的离群值来提供严格的覆盖保证，与原始 jackknife 不同，而实验数据表明两种置信区间在稳健性较好的情况下能够实现几乎完全的覆盖且长度相似，此外我们还将 jackknife + 延伸到 K 倍交叉验证。

    May, 2019

  • 通过近似留一法估计可扩展的样本外预测误差

    研究高维环境下的样本外风险估计问题，介绍了一种计算效率高的闭式近似留一法，适用于大多数正则化估计器，并通过理论分析和实验数据验证了其优秀的绩效表现和实际应用的可行性。

    Jan, 2018

  • 高维逻辑回归现代极大似然理论

    本研究证明在逻辑回归模型中，当样本量和自变量个数的比例变大时，MLE 的偏差和方差均远大于经典预测所得，常用的 LRT 也未能满足卡方分布，因此现有的软件包所得出的推论是不可靠的。

    Mar, 2018

  • 高维回归的置信区间和假设检验

    该文提出了一个新颖的算法，用于构建自然参数的置信区间和 p 值，并使用高维线性回归问题和一个高通量基因组数据集进行测试。

    Jun, 2013

  • 分布式适应性预测

    本研究提出了一种基于条件分布模型（如分位数和分布回归）构建有条件有效的预测区间的健壮方法，可以应用于横截面预测、k 步预测、合成控制和反事实预测、个体治疗效果预测等重要预测问题。

    Sep, 2019

  • 基于贝叶斯的留一法交叉验证近似方法应用于高斯潜变量模型

    本文主要研究了 Bayesian model 的 Bayesian cross-validation 技术在高斯潜在变量模型中的应用，通过 Laplace method 或 expectation propagation 方法来估计与推断，旨在评估快速方法的准确性和可靠性。实证结果表明，基于 LOO 边缘分布（cavity distribution）的高斯近似法可获得最准确可靠结果。

    Dec, 2014