Aug, 2020

多维函数数据的低秩协方差函数估计

PDF
TL;DR本文提出了一种新颖的在再生核希尔伯特空间（RKHS）框架下处理稀疏和稠密函数数据的非参数协方差函数估计方法，该方法可以灵活地对协方差算子和边际结构进行建模，并且可以保证生成的估计量自动具有半正定特性，并且可以融入各种光谱正则化。 Trace- norm 正则化可以促进协方差算子和边际结构的低秩，并且虽然缺乏闭合形式，但在温和的假设下，提出的估计量可以实现统一的理论结果，其收敛速度揭示了从稀疏到密集的函数数据的相变现象。 基于新的代表定理，开发了 ADMM 算法来实现 Trace- norm 正则化。 通过模拟研究和来自 Argo 项目的数据集分析，展示了所提出估计器的优异数值表现。
covariance functionnonparametric estimationreproducing kernel hilbert spacesspectral regularizationsadmm algorithm
发现论文，激发创造
  • 高维协方差矩阵估计与缺失观测

    本文介绍了一种简单的过程来解决高维数据的缺失协方差矩阵估计问题，该方法不需要对缺失数据进行插补，并建立了非渐进稀疏奥尔克不等式，最后证明了其速率是渐进最优的。

    Jan, 2012

  • 高斯随机场线性代价协方差函数

    本文提出了一种具有层次结构的协方差函数的构造，这种协方差函数在各种随机场计算中，包括采样、克里金以及似然估计中都表现出高效的特点，特别适用于极大数量站点的克里金预测。

    Nov, 2017

  • 对降秩高斯过程回归的希尔伯特空间方法

    本文针对高斯过程回归的降维问题，提出了一种基于 Laplace 算子的特征函数分解方法，可以有效提高模型的预测速度和计算效率，并同时确保了较低的截断误差。

    Jan, 2014

  • 再生核希尔伯特空间中函数响应的非线性泛函模型

    利用扩展的再生核希尔伯特空间（RKHS）理论建立了一个新的框架，可以对功能响应进行函数回归模型建模。该方法只假定一般非线性回归结构，而不是以前研究过的线性回归模型，并提出了广义交叉验证（GCV）来进行自动平滑参数估计。新的 RKHS 估计方法在模拟和实际数据上进行了应用。

    Feb, 2007

  • 内核空间中的函数分布

    本文提出了一种基于函数内核的学习方法（FKL），通过将高斯过程置于谱密度上，直接推断出内核的功能后验分布，从而能够支持任何平稳内核，具有对内核值的不确定性，以及直接对内核的先验规范，而不需要复杂的初始化或人为干预。我们通过椭圆切片采样进行推断，这对于较强相关性先验的函数空间建模尤其适用。我们将我们的方法应用于非均匀、大规模、多任务和多维数据，并在插值、外推和内核恢复实验中展现了良好的性能。

    Oct, 2019

  • 再生核希尔伯特空间中线性泛函的实验设计

    研究最优实验设计，针对再生核希尔伯特空间（RKHS）中的线性泛函估计，提供了构建偏差感知设计的算法，并推导出在次高斯噪声下的固定和自适应设计的非渐进置信集，使得可以高概率地证明具有有界误差的估计。

    May, 2022

  • 利用神经网络逼近 RKHS 函数

    通过使用神经网络来近似再生核希尔伯特空间中的泛函的普适性，以及将其应用于广义函数线性模型的函数回归，本研究探讨了将功能性数据（如时间序列和图像）整合到神经网络中学习函数空间到 R 的映射（即泛函）的方法。同时，通过在再生核希尔伯特空间中建立内插正交投影，提出的网络简化了现有的功能学习工作，使用点评估替代基函数展开。

    Mar, 2024

  • 关于核函数的近似方法

    统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中，核通常根据问题和数据的特征进行选择，然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据，并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核，本文建立了关联特征值的上限，该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数，从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。

    Mar, 2024

  • 广义张量估计的最优统计和计算框架

    该论文提出了一种灵活的通用低秩张量估计问题的框架，包括计算成像、基因组学和网络分析等应用中的许多重要实例，并通过投影梯度下降的统一方法来克服这些问题的非凸性，以适应底层低秩结构，并证明该算法在估计误差的收敛速度上达到极小值最优率。

    Feb, 2020

  • 基于结构化范数最小化的图模型估计

    通过提出一种基于新型结构规范的通用框架，以及使用线性化的多块交替方向乘数法算法来高效地解决该问题，我们研究了从高维数据中估计稀疏、结构稀疏和密集组件的模型。在合成和实际数据集上的实验证实了这种方法的优越性。

    Sep, 2016