深度核学习的表征定理
本文针对一类基于线性测量学习参数的正则化方法进行研究,并证明了正则化参数是内积的非递减函数的基础上所学习的向量为输入数据的线性组合,从而完成了基于正则化的核方法的特征化。此外,本文还将分析扩展到了学习矩阵的正则化问题,并得出了适用于更大类别的正则化参数的 representer 定理的必要和充分条件,并且提供了一些重要实用的具体示例。
Sep, 2008
本文介绍了如何在函数数据上使用再生核希尔伯特空间理论进行有监督学习和回归,扩展了基于核的学习的概念和性质,包括估计函数值函数的算法,阐述了一套严格定义的无限维算子值核,以及非线性函数数据分析的学习算法,并通过语音和音频信号处理实验进行了说明。
Oct, 2015
通过研究神经网络所定义的函数空间,我们展示了深度神经网络定义合适的再生核 Banach 空间,并且通过应用再生核 Banach 空间的理论和变分结果,得到了支持常用有限网络结构的再现定理,为更实际可行的神经网络架构提供了一步。
Mar, 2024
通过在 Reproducing Kernel Banach Space(RKBS)中建立显式的代表定理,我们探讨了该 RKBS 中代表的性质,与正则化参数对于解决方案的稀疏性的关系,并证明了一些特定的 RKBS 具有解决稀疏学习问题的能力
May, 2023
探讨了正定核及其相关重现核希尔伯特空间的逼近性质,包括核算子和矩阵的特征值衰减、特征函数 / 特征向量的性质、核空间中函数的 “傅里叶” 系数以及核的拟合能力等,并给出了限制在离散数据点上的重现核希尔伯特空间球体的胖打散维度的明确界限,讨论了正定核的容量限制及其对梯度下降等算法的影响。
Jan, 2018
通过引入功能规则化到损失函数中,基于二阶总变差准则,提出了一种可以用于通信、编码和学习的深度神经网络优化方法;同时,通过使用自适应节点的非均匀线性样条,可以实现每个神经元的动作编码。
Feb, 2018
该论文介绍了一种用于深度学习的假设空间,利用深度神经网络(DNNs),通过将 DNN 视为两个变量的函数,即物理变量和参数变量,并考虑 DNN 的原始集合,这些集合位于由 DNN 的深度和宽度确定的权重矩阵和偏差的集合,然后通过在弱 * 拓扑中完成原始 DNN 集合的线性张量构建物理变量的函数的 Banach 空间,我们证明了所构建的 Banach 空间是一个再生内核 Banach 空间(RKBS),并构建了其再生内核。我们通过建立学习模型的 representer 定理,研究了结果 RKBS 中的正则化学习和最小插值问题,representer 定理表明这些学习模型的解可以表示为给定数据和再生内核确定的有限数量的内核会话的线性组合。
Mar, 2024
本研究通过核方法的角度对卷积核网络进行了研究,发现其 RKHS 由补丁之间的交互项的加性模型组成,其范数通过汇聚层促进这些项之间的空间相似性,并提供了泛化界,以说明池化和补丁如何提高样本复杂度保证。
Feb, 2021
本论文证明了一些 representer 定理,用于处理一般情况下的支持向量机学习问题,该问题涉及到算子值半正定核和它们的再生核希尔伯特空间。在有限和无限维输入空间和凸或非凸损失函数情况下,我们证明了这个普遍框架允许无限维输入空间和某些特殊案例下的非凸损失函数等。对于导致部分非线性问题的指数最小二乘损失函数进行了详细计算。
Apr, 2023
使用机器学习中的大规模问题为背景,本论文针对输入变量个数趋向无穷大的情况展开研究。首先,我们完善了核和其再生核希尔伯特空间均值场极限的现有理论。接下来,我们提供了与这些核在均值场极限下逼近相关的结果,包括一个再现者定理。最后,我们将这些核应用于均值场极限下的统计学习,重点是支持向量机。特别地,我们展示了经验和无穷样本解的均值场收敛,以及相应风险的收敛。一方面,我们的结果在核方法的背景下建立了严谨的均值场极限,为大规模问题提供了新的理论工具和洞见。另一方面,我们提出了一种尚未在统计学习理论文献中研究的学习问题形式。
Oct, 2023