Jan, 2013

高斯过程在模型误差条件下的超参数交叉验证和最大似然估计

PDF
TL;DR研究估计协方差超参数的最大似然（ML）和交叉验证（CV）方法， 结果发现 CV 方法在协方差函数被错误指定时表现更好，但当模型被很好指定时，ML 更优。进一步将单参数情况扩展到了估计具有协方差函数的超参数的情况。
maximum likelihoodcross validationcovariance hyper-parameterskrigingmisspecified covariance structure
发现论文，激发创造
  • 高斯过程全贝叶斯回归的近似推理

    本文介绍了高斯过程模型中两种推断超参数后验分布的方法，一种是哈密顿蒙特卡罗（HMC）求解采样近似，另一种是变分推断（VI），其中超参数后验分布被近似为一个因子化的高斯分布或全秩高斯分布，该文分析了完全贝叶斯高斯过程回归在多个基准数据集上的预测性能。

    Dec, 2019

  • 高斯图模型结构学习中交叉验证的不一致性

    通过理论分析和实证研究，我们揭示了交叉验证在高斯图模型中泛化有限，并通过与其他常用信息准则进行对比，揭示了这种不一致性。这对于需要超参数选择的图模型结构学习算法来说具有重要意义。

    Dec, 2023

  • 基于贝叶斯的留一法交叉验证近似方法应用于高斯潜变量模型

    本文主要研究了 Bayesian model 的 Bayesian cross-validation 技术在高斯潜在变量模型中的应用，通过 Laplace method 或 expectation propagation 方法来估计与推断，旨在评估快速方法的准确性和可靠性。实证结果表明，基于 LOO 边缘分布（cavity distribution）的高斯近似法可获得最准确可靠结果。

    Dec, 2014

  • 多变量广义高斯分布：凸性和图模型

    本文探讨了多元广义高斯分布（MGGD）和椭圆对称分布下的协方差估计的最大似然优化问题，提供了一种新的基于测地线凸性分析该似然函数的方法以及通过结构化稀疏性限制的广义协方差估计框架。

    Apr, 2013

  • 近似交叉验证：模型评价和选择的保证

    通过单个牛顿推的启动程序，实现了对大量训练数据集的 CV 的近似，解决了 CV 运行时间长的问题；本文提供了一致的非渐进性，确定性的模型评估保证，同时也保证了与 CV 相当的模型选择性能。

    Mar, 2020

  • 高斯过程均值在误规定条件和平稳性下的收敛保证

    本文研究高斯过程在模型不精确的情况下对函数均值的影响，并阐述了如何通过实验设计和核函数参数的选择来减少模型误差。

    Jan, 2020

  • 隐高斯模型的切片采样协方差超参数

    本文提出了一种切片取样方法，用于在贝叶斯框架下使用高斯过程模型时进行充分的超参数采样，从而有效应用于强数据和弱数据的情况。

    Jun, 2010

  • 基于机器学习的高斯过程回归系统可靠性分析

    机器学习可靠性分析方法在计算效率和准确性方面取得了巨大的进展。本文探讨了一些理论上的最佳学习策略，并通过模拟结果验证了考虑 Kriging 相关性的最佳学习策略在减少性能函数评估次数方面优于其他学习方法。

    Mar, 2024

  • 贝叶斯超越交叉验证：通过最大化期望实现高效准确的岭回归

    提出了一种用于调整岭回归的正则化超参数 λ 的新方法，比留一法交叉验证 (LOOCV) 更快速计算，同时产生等效或更好的回归参数估计，尤其在稀疏协变量的情况下。

    Oct, 2023

  • 多元地统计学的交叉协方差函数

    本文综述了多个研究领域中普遍存在的、具有多个变量的连续索引数据的分析挑战及其相关模型，其中重点讨论了跨协方差函数和多元马特芦恩模型，并通过温度和压力、最低和最高温度等数据集之间的比较和验证，探讨了这些模型的可行性和优越性，并分析了当前未解决的问题。

    Jul, 2015