利用神经网络逼近 RKHS 函数

Mar, 2024

Approximation of RKHS Functionals by Neural Networks

Tian-Yi Zhou, Namjoon Suh, Guang Cheng, Xiaoming Huo

TL;DR通过使用神经网络来近似再生核希尔伯特空间中的泛函的普适性，以及将其应用于广义函数线性模型的函数回归，本研究探讨了将功能性数据（如时间序列和图像）整合到神经网络中学习函数空间到 R 的映射（即泛函）的方法。同时，通过在再生核希尔伯特空间中建立内插正交投影，提出的网络简化了现有的功能学习工作，使用点评估替代基函数展开。

Abstract

Motivated by the abundance of functional data such as time series and images, there has been a growing interest in integrating such data into neural networks and learning maps from function spaces to R (i.e.,

functional data neural networks reproducing kernel hilbert spaces functionals functional regression

发现论文，激发创造

再生核希尔伯特空间中函数响应的非线性泛函模型

利用扩展的再生核希尔伯特空间（RKHS）理论建立了一个新的框架，可以对功能响应进行函数回归模型建模。该方法只假定一般非线性回归结构，而不是以前研究过的线性回归模型，并提出了广义交叉验证（GCV）来进行自动平滑参数估计。新的 RKHS 估计方法在模拟和实际数据上进行了应用。

Feb, 2007

将神经网络训练为学习数据自适应核函数：可证明的表示和逼近优势

利用动态再生核赋范空间方法研究神经网络的逼近和表示优势，证明其自适应核函数表示比经典非参数方法中的预先指定的固定基础表示更具优势，同时通过渐进正则化说明其渐进收敛性。

Jan, 2019

神经网络何时强于核方法？

在某种随机梯度下降初始化的情况下，神经网络可被再现核希尔伯特空间方法良好逼近用于某些分类任务。在特殊情况下，通过学习最佳低维表示，神经网络可胜过再现核希尔伯特空间方法，证明了神经网络比再现核希尔伯特空间方法更适合维度严重受限的特殊分类任务。

Jun, 2020

多层随机特征和神经网络的逼近能力

神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词，论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构，它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核，同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。

Apr, 2024

受限的、过参数化的、两层神经网络的学习

利用路径范数和巴伦范数建立了适合于过参数化的两层神经网络的函数空间，并证明了度量熵和一般化界限方面的改进结果。

Apr, 2024

再生核希尔伯特空间中线性泛函的实验设计

研究最优实验设计，针对再生核希尔伯特空间（RKHS）中的线性泛函估计，提供了构建偏差感知设计的算法，并推导出在次高斯噪声下的固定和自适应设计的非渐进置信集，使得可以高概率地证明具有有界误差的估计。

May, 2022

RKHS 中最优滤波的另一种观点

利用根据时间结构定义的相干信息、扩展的协方差函数以及时间基函数，为在 Reproducing Kernel Hilbert Space 中创建更高效的函数表示提供了一个有希望的研究方向。

Dec, 2023

用于函数响应数据学习的算子值核

本文介绍了如何在函数数据上使用再生核希尔伯特空间理论进行有监督学习和回归，扩展了基于核的学习的概念和性质，包括估计函数值函数的算法，阐述了一套严格定义的无限维算子值核，以及非线性函数数据分析的学习算法，并通过语音和音频信号处理实验进行了说明。

Oct, 2015

深度神经网络正则化的核视角

通过使用再生核希尔伯特空间的范数作为正则化深度神经网络的新视角来提高学习效果，并提出了一些新的有效的正则化策略，实验结果表明这种方法在小数据集或对抗鲁棒性较高的模型上都取得了很好的效果。

Sep, 2018

神经网络学习对称函数的功能视角

本文主要研究了定义在概率度量上的神经网络的学习和表示，通过研究不同正则化选择下的近似和泛化界限，建立了一个具有不同非线性学习程度的功能空间等级体系，从而解决了对称函数的泛化问题。

Aug, 2020