- 缩小差距：对健壮和标准泛化的 Rademacher 复杂性
对深度神经网络进行对抗性示例训练通常导致对测试时的对抗数据泛化能力差，本论文通过 Rademacher 复杂度研究了这个问题，提出了上确界对于匹配标准设置中的最优上确界的 DNN 的对抗 Rademacher 复杂度，通过计算对抗函数类的覆 - 神经网络超参数化区域之外的新型核模型和精确表示器理论
这篇论文提出了两种适用于任意宽度、深度和拓扑结构的神经网络的模型及其训练方法，假设神经激活仅存在有限能量，并提出了一种基于矩阵核的神经网络的新颖表达器理论。其中，第一种模型是精确的且全局的模型，将神经网络看作是再生核 Banach 空间中的 - 解锁算法特性的力量：算法选择的推广分析
通过算法特征以及一般化观点，我们提出了基于算法特征的算法选择具有可证的保证的第一个模型，并分析了几个因素对一般化误差的影响。我们证明了在复杂的多算法场景中，基于算法特征的模型在一般化方面优于仅依赖问题特征的传统模型，并在分布变化的场景中表现 - 通过 Chen-Fliess 级数计算神经 ODE 的 Rademacher 复杂性
使用 Chen-Fliess 级数展开将连续深度神经 ODE 模型构建为单层无限宽度网络，以控制 ODE 模型中的向量场的迭代李导数作为特征，通过分析得到 ODE 模型的 Rademacher 复杂度的紧凑表达式。
- 基于结构风险最小化的未知奖励模型的逆强化学习
通过引入结构风险最小化方法，本文解决了逆强化学习模型选择中的权衡问题，以估计误差和模型复杂度为目标，选择最佳的奖励函数类别。具体实施的结构风险最小化包括估计策略梯度和建立模型惩罚的 Rademacher 复杂度的上界。通过模拟实验验证了该方 - 随机凸优化中 ERMs 的样本复杂度
在这项工作中，我们证明了实际上只需要大约 d/ε+1/ε² 个数据点，就足够使得任何经验风险最小化器（ERM）在真实总体上表现良好，从而解决了一个中心基础问题，即学习在真实总体上取得好的性能需要观察多少数据点。
- Barron 空间用于图卷积神经网络
该研究讨论了基于图的卷积神经网络（GCNN）在 Barron 函数空间中的应用，证明了该空间是一个再生核 Banach 空间，可以通过 GCNN 的输出来有效逼近。同时估计了有界 Barron 范数函数的 Rademacher 复杂度，并指 - 基于切空间敏感性的 ReLU 网络的优化相关泛化界
最近深度学习取得了一些极有前途的成果，尤其是在深度神经网络的泛化能力方面，然而相关文献中仍缺乏一种全面的理论来解释为什么过度参数化的模型能够在拟合训练数据的同时表现出良好的泛化能力。本文通过估计通过梯度下降从初始参数向量获得的网络集合的 R - 基于范数的变压器的序列长度无关普适性界
该研究提供了一种不依赖输入序列长度的基于规范化的 Transformer 架构的广义化界限，并使用基于覆盖数的方法证明了该界限。我们使用三种新颖的覆盖数界限来上界 Transformer 的 Rademacher 复杂性，并展示了这种广义化 - 使用基于物理信息的神经网络求解椭圆型最优控制问题
通过使用物理知识的神经网络方法，我们提供了一个数值求解器来解决线性和半线性二阶椭圆问题的最优控制问题，并进行了误差分析和性能比较。
- 批量预测器在分布内通用化
研究批处理预测器的泛化特性，证明其具有与标准逐个样本方法相比指数级更强的泛化保证，并验证了在各种任务、架构和应用中的理论洞察力。
- 通过算法相关的 Rademacher 复杂度实现泛化保证
算法和数据相关的广义化界限是解释现代机器学习算法的广义化行为所必需的。在这个背景下，存在包括 (各种形式的) 互信息和基于假设集稳定性的信息论广义化界限。我们提出了一个概念上相关但技术上独特的复杂度度量方法来控制广义化误差，这就是算法和数据 - 平方根 Lipschitz Loss 下的一致收敛
本文研究基于 Rademacher 复杂度和平方根标量损失函数的 Lipschitz 常数，以高斯数据的泛化一致性保证为例，并处理了广泛的平方根 Lipschitz 损失函数的类别，包括适用于相位恢复和 ReLU 回归的非平滑损失函数，从而 - 关于 ReLU 网络的样本复杂度的大小无关性研究
本文研究了从推广的角度学习 ReLU 神经网络的样本复杂性，并结合权重矩阵上的范数限制，给出了与网络规模无关的上界，其中 Frobenius norms 为主要研究方向。
- 度量空间中图嵌入的紧凑快速泛化误差界
本文提出一种新的图嵌入一般化误差的上限，它作为距离表示的函数集的局部 Rademacher 复杂度的评估。我们的上限是几何半径 $R$ 的多项式，可以最快达到 $O (rac {1}{S})$，其中 $S$ 是训练数据大小。
- 利用分数布朗运动得出的深度神经网络的轨迹相关的泛化界
通过探究 SGD 的轨迹依赖假设集，建立基于 Hausdorff 维数的 Rademacher 复杂度，并通过假设集稳定性推导具有预测力的 DNN 的新型泛化边界。
- 线性假设和神经网络的对抗学习保证
研究了在 $l_r$-norm 测量下带有敌对干扰的线性假设的敌对经验 Rademacher 复杂性的上限和下限，扩展了已有的结果并提供了更精细的维度依赖性分析，并在单个 ReLU 单元和具有一层隐藏层的前馈神经网络中提供了 Rademac - AAAI自动化谱核学习
本文提出了一种基于非平稳谱核并能从数据中灵活学习谱度量的强大高效谱核学习框架，还导出了一个基于 Rademacher 复杂度的数据相关推广误差界，并提出两个正则化项以提高性能。实验结果表明该算法的有效性并验证了作者的理论结果。
- 通过平移 Rademacher 过程的快速 PAC-Bayes 泛化界限
本文旨在扩展 Rademacher 复杂性和最新 PAC - 贝叶斯理论之间的桥梁，首先通过平移 Rademacher 过程来匹配 Catoni PAC-Bayes 界限的快速率，然后最新地导出了快速 PAC-Bayes 界限，重点是后验集 - 神经网络模型的 Barron 空间和流诱导函数空间
本文研究了机器学习模型分析中的关键问题，即如何确定适当的函数空间和模型的范数，针对两种典型的神经网络模型（即双层网络和残差神经网络），提出了 Barron 空间和流引导函数空间，并证明了这些空间下的函数具有最优的直接和反向逼近定理，同时表明