Aug, 2023

利用再生核空间插值和模型减缩训练神经网络

PDF
TL;DR使用内插技术从再生核希尔伯特空间理论中介绍和研究训练神经网络的理论，进而泛化到 Krein 空间，并展示了广泛使用的神经网络体系结构是再生核 Krein 空间的子集。通过多个复变量函数的理论概念，证明了著名的 Adamjan-Arov-Krein（AAK）定理的可计算多维推广，得到了一种新的神经网络类别，称为 Prolongation 神经网络（PNN）。证明指出利用多维 AAK 定理来获得 PNN，可以在噪声环境中获得优于内插方法和当前最先进方法的性能。在实践中提供了有用的应用示例。
发现论文，激发创造
  • 神经再生核泛函空间及深度网络的表示定理

    通过研究神经网络所定义的函数空间，我们展示了深度神经网络定义合适的再生核 Banach 空间，并且通过应用再生核 Banach 空间的理论和变分结果，得到了支持常用有限网络结构的再现定理，为更实际可行的神经网络架构提供了一步。

    Mar, 2024

  • 利用神经网络逼近 RKHS 函数

    通过使用神经网络来近似再生核希尔伯特空间中的泛函的普适性，以及将其应用于广义函数线性模型的函数回归，本研究探讨了将功能性数据（如时间序列和图像）整合到神经网络中学习函数空间到 R 的映射（即泛函）的方法。同时，通过在再生核希尔伯特空间中建立内插正交投影，提出的网络简化了现有的功能学习工作，使用点评估替代基函数展开。

    Mar, 2024

  • 深度学习的假设空间

    该论文介绍了一种用于深度学习的假设空间，利用深度神经网络（DNNs），通过将 DNN 视为两个变量的函数，即物理变量和参数变量，并考虑 DNN 的原始集合，这些集合位于由 DNN 的深度和宽度确定的权重矩阵和偏差的集合，然后通过在弱 * 拓扑中完成原始 DNN 集合的线性张量构建物理变量的函数的 Banach 空间，我们证明了所构建的 Banach 空间是一个再生内核 Banach 空间（RKBS），并构建了其再生内核。我们通过建立学习模型的 representer 定理，研究了结果 RKBS 中的正则化学习和最小插值问题，representer 定理表明这些学习模型的解可以表示为给定数据和再生内核确定的有限数量的内核会话的线性组合。

    Mar, 2024

  • 基于神经网络的再生核逼近增强方法用于脆性断裂建模

    本文提出了一种改进的神经网络增强再生核粒子法（NN-RKPM）来建模脆性断裂，实现了离散化无关的计算方法，并通过一系列数值算例展示了其有效性。

    Jul, 2023

  • 将神经网络训练为学习数据自适应核函数：可证明的表示和逼近优势

    利用动态再生核赋范空间方法研究神经网络的逼近和表示优势，证明其自适应核函数表示比经典非参数方法中的预先指定的固定基础表示更具优势，同时通过渐进正则化说明其渐进收敛性。

    Jan, 2019

  • 再生核 Krein 空间中的可扩展学习

    本文首次提供了 Nyström 方法用于求解不定核的低秩矩阵逼近的数学完整证明，并提出了一种高效的方法来寻找这种核矩阵的近似特征分解，以此构建可在再现核 Krein 空间中学习的高度可扩展方法。这些方法提供了一种有原则的并且理论基础良好的方法来解决大规模关于不定核的学习问题。本文的主要动机来自于具有结构表示的问题（例如图形，字符串，时间序列），在这些问题上，根据直觉和 / 或领域专家的知识很容易设计出一对一的（不）相似度函数。这些函数通常不是正定形的，并且超出了实践者的专业知识范围。本文使用不定核构建在结构化和向量化数据表示中，通过经验证明了这些方法的有效性。

    Sep, 2018

  • 深度神经网络正则化的核视角

    通过使用再生核希尔伯特空间的范数作为正则化深度神经网络的新视角来提高学习效果，并提出了一些新的有效的正则化策略，实验结果表明这种方法在小数据集或对抗鲁棒性较高的模型上都取得了很好的效果。

    Sep, 2018

  • 神经网络何时强于核方法？

    在某种随机梯度下降初始化的情况下，神经网络可被再现核希尔伯特空间方法良好逼近用于某些分类任务。在特殊情况下，通过学习最佳低维表示，神经网络可胜过再现核希尔伯特空间方法，证明了神经网络比再现核希尔伯特空间方法更适合维度严重受限的特殊分类任务。

    Jun, 2020

  • 多层随机特征和神经网络的逼近能力

    神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词，论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构，它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核，同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。

    Apr, 2024

  • 近似比集中更有效？平滑径向核推理的近似观点

    探讨了正定核及其相关重现核希尔伯特空间的逼近性质，包括核算子和矩阵的特征值衰减、特征函数 / 特征向量的性质、核空间中函数的 “傅里叶” 系数以及核的拟合能力等，并给出了限制在离散数据点上的重现核希尔伯特空间球体的胖打散维度的明确界限，讨论了正定核的容量限制及其对梯度下降等算法的影响。

    Jan, 2018