将神经网络训练为学习数据自适应核函数：可证明的表示和逼近优势

Jan, 2019

将神经网络训练为学习数据自适应核函数：可证明的表示和逼近优势

Training Neural Networks as Learning Data-adaptive Kernels: Provable Representation and Approximation Benefits

Xialiang Dou, Tengyuan Liang

TL;DR利用动态再生核赋范空间方法研究神经网络的逼近和表示优势，证明其自适应核函数表示比经典非参数方法中的预先指定的固定基础表示更具优势，同时通过渐进正则化说明其渐进收敛性。

Abstract

Consider the problem: given the data pair $(\mathbf{x}, \mathbf{y})$ drawn from a population with $f_*(x) = \mathbf{E}[\mathbf{y} | \mathbf{x} = x]$, specify a neural network model and run gradient flow on the weights over time until reaching any stationarity. How does $f_t$, the funct

neural networks gradient flow adaptive rkhs representation kernel ridgeless regression approximation and representation benefits

发现论文，激发创造

利用神经网络逼近 RKHS 函数

通过使用神经网络来近似再生核希尔伯特空间中的泛函的普适性，以及将其应用于广义函数线性模型的函数回归，本研究探讨了将功能性数据（如时间序列和图像）整合到神经网络中学习函数空间到 R 的映射（即泛函）的方法。同时，通过在再生核希尔伯特空间中建立内插正交投影，提出的网络简化了现有的功能学习工作，使用点评估替代基函数展开。

Mar, 2024

神经网络何时强于核方法？

在某种随机梯度下降初始化的情况下，神经网络可被再现核希尔伯特空间方法良好逼近用于某些分类任务。在特殊情况下，通过学习最佳低维表示，神经网络可胜过再现核希尔伯特空间方法，证明了神经网络比再现核希尔伯特空间方法更适合维度严重受限的特殊分类任务。

Jun, 2020

神经网络可以使用梯度下降学习表示

本研究揭示了神经网络在训练表示学习和迁移学习方面的优势，并通过学习与目标任务相关的表示来说明为什么在实践中神经网络明显优于与之相关的核方法。

Jun, 2022

神经网络超参数化区域之外的新型核模型和精确表示器理论

这篇论文提出了两种适用于任意宽度、深度和拓扑结构的神经网络的模型及其训练方法，假设神经激活仅存在有限能量，并提出了一种基于矩阵核的神经网络的新颖表达器理论。其中，第一种模型是精确的且全局的模型，将神经网络看作是再生核 Banach 空间中的元素；第二种模型是精确的且局部的模型，将神经网络函数的变化建模为权重和偏差（即训练步骤）在再生核 Hilbert 空间中的局部内在神经核。该局部模型通过对网络自适应的 Rademacher 复杂度提供洞察力。此外，还证明了神经切向核 (NTK) 是局部内在神经核的一阶近似。最后，针对技术原因，本论文提出了一个准确的新颖表达器理论，用于层间神经网络在未正则化梯度下降的情况下进行训练，该理论基于局部外在神经核 (LeNK)。该表达器理论揭示了神经网络训练中高阶统计量的作用以及核演化对神经网络核模型的影响。在整篇论文中，使用前馈 ReLU 网络和残差网络 (ResNet) 作为说明性例子。

May, 2024

多层随机特征和神经网络的逼近能力

神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词，论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构，它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核，同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。

Apr, 2024

来自数据的核学习到深渊的核流

通过基于先前指定的内核，采用数值逼近方法进行核函数选择 / 构造，从而探索构造非参数深度内核的解决方案，通过减半插值点的数量（使用与内核相关联的本征 RKHS 范数进行度量）而不会显着损失精度的简单前提来进行核函数选择。

Aug, 2018

神经网络的近似和梯度下降训练

通过研究使用神经切向核（NTK）优化方法来训练的网络，本文对使用梯度下降训练的网络建立了类似的结果，以扩展逼近结果的平滑性，从而显示了这两种理论的兼容性。

May, 2024

利用再生核空间插值和模型减缩训练神经网络

使用内插技术从再生核希尔伯特空间理论中介绍和研究训练神经网络的理论，进而泛化到 Krein 空间，并展示了广泛使用的神经网络体系结构是再生核 Krein 空间的子集。通过多个复变量函数的理论概念，证明了著名的 Adamjan-Arov-Krein（AAK）定理的可计算多维推广，得到了一种新的神经网络类别，称为 Prolongation 神经网络（PNN）。证明指出利用多维 AAK 定理来获得 PNN，可以在噪声环境中获得优于内插方法和当前最先进方法的性能。在实践中提供了有用的应用示例。

Aug, 2023

深度神经网络正则化的核视角

通过使用再生核希尔伯特空间的范数作为正则化深度神经网络的新视角来提高学习效果，并提出了一些新的有效的正则化策略，实验结果表明这种方法在小数据集或对抗鲁棒性较高的模型上都取得了很好的效果。

Sep, 2018

探索层次化学习：神经表征的好处

本文指出了中间神经表现添加了深度学习网络的灵活性并且在原始输入上具有优势，并阐述了与浅学习者，如卷积内核的神经表现的关系。通过学习低秩的多项式，中间神经表现可以实现比原始输入更少的样本复杂度，并且在神经可切内核的情况下，本文还提出了神经表现不利的限制。

Jun, 2020