Feb, 2021

基于随机截断的无偏可扩展高斯过程

PDF
TL;DR本文分析了两种常见的高斯过程方法：早期截断共轭梯度（CG）和随机傅里叶特征（RFF），发现两种方法都会对学习到的超参数引入系统偏差：CG 倾向于欠拟合，而 RFF 倾向于过拟合。我们使用随机截断估计器解决了这些问题，以换取增加方差的无偏差性。在 RFF 的情况下，我们发现偏差 - 方差转换确实是一种权衡：额外的方差对优化产生负面影响。但是，在 CG 的情况下，我们的无偏学习方法在最小化额外计算量的同时显着优于其有偏的对照组。
gaussian processcomputational methodshyperparametersconjugate gradientrandom fourier features
发现论文，激发创造
  • 斯坦随机特征回归

    在大规模回归问题中，通过通过定义核函数的谱密度，利用 Monte Carlo 抽样生成有限的样本集合以形成近似的低秩高斯过程（GP），随机 Fourier 特征（RFFs）显著提高了 GP 的计算可扩展性和灵活性。然而，RFFs 在核逼近和贝叶斯核学习中的有效性取决于能否轻松地采样核谱测度并生成高质量的样本。我们引入 Stein 随机特征（SRF），利用 Stein 变分梯度下降，可以用于生成已知谱密度的高质量 RFF 样本，以及灵活高效地近似传统上非分析的谱测度后验。SRFs 只需要评估对数概率梯度，即可同时进行核逼近和贝叶斯核学习，从而在传统方法上实现更好的性能。通过将其与基准模型在核逼近和众所周知的 GP 回归问题上进行比较，我们经验证明了 SRF 的有效性。

    Jun, 2024

  • 高斯过程随机场

    介绍了一种新的大规模高斯过程的近似方法 —— 高斯过程随机场，在合理精度和计算代价的前提下实现了潜在变量建模和超参数调节，并在合成空间数据和地震事件定位的真实世界应用中展示了其有效性。

    Oct, 2015

  • 随机傅里叶特征的误差

    本文介绍了核方法在机器学习问题中的应用，提到了采用随机傅里叶特征解决大规模数据集问题的方法，并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用，同时指出了该特征的两种变体中，更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。

    Jun, 2015

  • 可扩展的高斯过程回归的三角积分傅里叶特征

    通过一种新的三角函数正弦积分傅里叶特征方法，精确求解对误差进行规模估计，得到的特征映射提供了改进性能的方法，实验证明此方法在广泛的长度尺度下，使用较少的特征能够准确近似高斯过程回归。

    Oct, 2023

  • 参数高斯过程回归器

    提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

    Oct, 2019

  • 随机傅里叶特征的最优速率

    本文通过理论分析，详细研究了随机傅里叶特征（RFF）在逼近质量方面的表现，并提出了一种 RFF 逼近核的导数的方法。

    Jun, 2015

  • 高斯过程模型可扩展的交叉验证损失

    通过交叉验证和最近邻截断，我们引入了一种简单可扩展的高斯过程模型训练方法，并采用泊松伽玛辅助变量和变分推断来适应二元和多元分类，通过与其他方法的比较，我们发现我们的方法提供了快速训练和出色的预测性能，这可以归因于预测分布的非参数性质和交叉验证损失对模型错误说明的鲁棒性。

    May, 2021

  • 随机矩阵分析随机傅里叶特征：超越高斯核，精确的相变和相应的双下降

    本文讨论基于随机傅里叶核（RFF）的回归模型的精确渐进特征，研究表明在数据样本数、数据维度和特征空间维度等三个因素中为大且可比较的实际场景下，随机 RFF Gram 矩阵不再收敛于著名的极限高斯核矩阵而是有一个可处理的行为，双重下降测试误差曲线从这种相变行为中得出，该结果不依赖于数据分布的强假设。

    Jun, 2020

  • 大规模空间数据的迭代高斯过程近似方法

    高斯过程是灵活的概率回归模型，但其计算规模受限；本文提出了全尺度近似方法，通过预测过程和协方差截尾相结合，减少计算开销，并引入新的预处理器和迭代方法以提高计算速度和预测方法准确度，在实验中证明它相较于现有方法在减少计算时间的同时，具备相同的准确性；此外，也比较了确定预测过程和全尺度近似模型中诱导点的不同方法。

    May, 2024

  • 理解概率稀疏高斯过程逼近

    本文旨在分析摒弃高代价运算的精确方法所使用的良好稀疏逼近方法，通过理论和实例分析 FITC 和 VFE 方法在回归中的表现并得出了指导实践的结论。

    Jun, 2016