本论文研究了在球面上进行方差损失下的未知函数 f * 的学习问题，并研究了神经切向核模型和 Rahimi-Recht 的随机特征模型等两种流行的模型，以及核岭回归。同时，论文探讨了样本数量有限或由于关于度数和样本数的适当估计而未能实现最优化性能时的情况，以及核方法随机选取核函数时的情况。

Apr, 2019

本文提出了一种新的理论框架来分析深度学习的泛化误差，推导了代表性算法（经验风险最小化和贝叶斯深度学习）的新的快速学习率，并且发现在有限维度的近似模型中存在偏差 - 方差权衡。

May, 2017

利用路径范数和巴伦范数建立了适合于过参数化的两层神经网络的函数空间，并证明了度量熵和一般化界限方面的改进结果。

Apr, 2024

神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词，论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构，它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核，同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。

Apr, 2024

证明随机特征学习的一般性定理，表明具有非线性激活函数的随机特征模型在训练和泛化误差方面渐近等效于匹配协方差矩阵的线性高斯模型，其方法基于经典的 Lindeberg 方法，证明的主要内容包括针对与训练过程相关的优化问题的 leave-one-out 分析以及针对弱相关随机变量的中心极限定理，通过 Stein 方法获得。

Sep, 2020

本文研究了支持向量回归的变分问题在巴拿赫函数空间中的应用，并利用 Fenchel-Rockafellar 对偶理论给出了对偶问题及相关最优性条件的解析公式；我们提出了一种新的张量核表示计算框架，充分适用于幂级数张量核，也包括指数和多项式核泛函空间的推广。在复数情况下，还包括 Szeg"o 和 Bergman 核的推广。

Mar, 2016

使用统计物理学中的复制法，我们针对一个综合数据集，研究了广义线性回归和分类问题，在超参数化和不充分参数化的条件下，为这些问题提供了渐近泛化表现的闭式表达式，特别地，我们展示了逻辑回归的双重下降效应，突显了用正交投影相比随机高斯投影在学习随机特征时的优越性，讨论了隐藏流形模型中数据相关性的作用。

Feb, 2020

近期的机器学习进展通过使用过参数化的模型训练到接近训练数据的插值来实现。 通过双下降现象的展示，已经证明参数数量是模型复杂性和泛化能力的劣质指标。 这引发了一个问题，即了解参数化对这些模型的性能的影响。 本文以随机特征岭回归（Random Feature Ridge Regression）为例进行调查。

Mar, 2024

研究了使用梯度下降法在过度参数化的双层神经网络中训练，证明了在足够过度参数化的条件下，GD 方法可以近似地将振幅算子的幂应用于生成响应 / 标签的基础 / 目标函数 $f^*$，并且提供了使用低秩逼近来减少经验风险的线性速率的足够条件，介绍了适用于球面上的多项式的一般结果的应用

May, 2019

本文讨论基于随机傅里叶核（RFF）的回归模型的精确渐进特征，研究表明在数据样本数、数据维度和特征空间维度等三个因素中为大且可比较的实际场景下，随机 RFF Gram 矩阵不再收敛于著名的极限高斯核矩阵而是有一个可处理的行为，双重下降测试误差曲线从这种相变行为中得出，该结果不依赖于数据分布的强假设。

Jun, 2020