Nov, 2023

空间过程近似：评估其必要性

PDF
TL;DR在空间统计和机器学习中，核矩阵在预测、分类和最大似然估计中起着关键作用。对于大样本量情况，经彻底检查发现，只要采样位置相对均匀分布，核矩阵就会出现病态，这给预测和估计计算中使用的数值算法带来了重大挑战，需要对预测和高斯似然进行近似处理。对当前管理大规模空间数据的方法进行综述表明，一些方法未能解决这个病态问题。这种病态经常导致随机过程的低秩近似。本文引入了各种最佳性准则，并提供了相应的解决方案。
spatial statisticsmachine learningkernel matrixill-conditioningnumerical algorithms
发现论文，激发创造
  • 低秩核矩阵近似的尖锐分析

    本文研究了在正定核框架下的监督学习问题，提出了基于随机矩阵列采样的核矩阵低秩近似方法，此方法可以在 sub-quadratic 的时间复杂度内有效解决核矩阵计算问题，同时保持预测性能不变。

    Aug, 2012

  • 关于核函数的近似方法

    统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中，核通常根据问题和数据的特征进行选择，然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据，并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核，本文建立了关联特征值的上限，该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数，从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。

    Mar, 2024

  • 核基学习中的稀疏逼近方法的改进收敛速率

    本文针对核方法的高计算成本问题，提出了 Nyström 方法和稀疏变分高斯过程逼近方法的置信区间，从而改进了模型在回归和优化问题中的性能界限。

    Feb, 2022

  • 高斯过程与非平稳傅里叶特征的空间映射

    本文介绍了一种基于傅里叶特征表示和深度学习方法的高斯过程模型，可以学习任意复杂度的非平稳协方差核直接从数据中，而不会过拟合，并且可以应用于时间序列和遥感等领域。

    Nov, 2017

  • 计算感知的卡尔曼滤波和平滑

    高维 Gauss-Markov 模型的推断中，我们提出了一种概率数值方法以解决滤波和平滑中存在的时间和内存复杂性难题，并演示了该方法在大规模气候数据集上的可扩展性。

    May, 2024

  • 关于核学习的复杂性

    本文主要研究降低核矩阵计算成本的方法，并针对观测的核矩阵条目数或近似核矩阵的秩，确定这些方法在错误达到下限的条件。研究结果表明损失函数，正则化参数，期望预测器的范数和核矩阵秩等参数与问题难度有关，同时提出了更高效的核学习可能的情况。

    Nov, 2014

  • 具有统计保证的快速随机核方法

    本文章介绍了一种改进基于核方法的机器学习方法运行时间的方法，并提出了一个计算算法，该算法可以用来在不需要生成全核矩阵的情况下，对特征向量矩阵进行采样，并在统计表现和运行时间方面提供了新的保证。

    Nov, 2014

  • 深入的高斯过程的非稳态卷积核的统一视角

    高斯过程常用于数据的随机函数逼近和不确定性量化，在机器学习中它们表现出优秀的预测能力，尤其在数据稀缺场景下，但核函数作为高斯过程的重要构建模块，通常需要进行复杂的定制，我们通过研究代表性数据集中多种核函数的表现、性质和性能，提出了一种融合现有核函数优点的新核函数。

    Sep, 2023

  • 大规模空间数据的迭代高斯过程近似方法

    高斯过程是灵活的概率回归模型，但其计算规模受限；本文提出了全尺度近似方法，通过预测过程和协方差截尾相结合，减少计算开销，并引入新的预处理器和迭代方法以提高计算速度和预测方法准确度，在实验中证明它相较于现有方法在减少计算时间的同时，具备相同的准确性；此外，也比较了确定预测过程和全尺度近似模型中诱导点的不同方法。

    May, 2024

  • 高斯过程得分函数的随机逼近

    探讨无偏随机逼近的统计特性，通过模拟数据集得到有效计算、可比最大似然估计的技术，并通过 $2^n$ 阶乘设计元素改进算法得到更好的结果

    Dec, 2013