- 回归即分类：任务形式对神经网络特征的影响
研究神经网络对回归问题的解决方法，针对两层 ReLU 网络探索了梯度优化引起偏差的一些现象，提出了一种新的支持度计算方法，得出实验证据，阐述了广义梯度下降和平方损失函数在训练中的优化困难。
- ICML通过耦合初始化限制神经网络的宽度 -- 一种最坏情况分析
通过将权重初始化为独立的高斯向量对，可以显著提高收敛分析和减少神经元的数量，同时改进了关于随机输入的类似技术，并证明了新的下界与某些假设下的最佳情况。
- 深度学习中鲁棒性泛化为何困难：表现能力的视角
本文从深度神经网络的表达能力角度出发，研究了针对现代神经网络的对抗样本问题解决方法的普适性，提出了分析鲁棒性泛化间难以弥合距离的矛盾问题的理论框架。
- 神经网络中的特征学习和泛化：随机特征增强
本文探讨了二层 ReLU 神经网络梯度下降训练过程中的特征学习，研究了使用 XOR 函数生成的带标签二进制数据，对一定比例的训练标签的干扰具有影响。我们证明了线性分类器并不比随机猜测的效果更好，而使用梯度下降训练二层 ReLU 神经网络可以 - 单神经元 ReLU 网络的支持向量和梯度动态
通过研究单神经元 ReLU 网络的梯度流动力学，发现了支持向量的隐式偏差，这在解释 ReLU 网络为何具有良好的泛化能力中起着关键作用；此外，证明了对于二维情况下单个神经元的全局收敛性，并分析了在梯度流的条件下学习权重范数的严格增长。
- 用于低秩神经网络的非线性初始化方法
我们提出了一种新的低秩初始化框架，用于训练低秩深度神经网络，证明了这种方法在 ReLU 网络中的有效性，并使用此方法训练了 ResNet 和 EfficientNet 模型。
- AAAI对超参数区间中神经网络的影响函数的重新思考
本文利用神经切线核理论计算对于带拉格朗日正则化均方损失训练的神经网络的影响函数。通过理论分析，证明了在 ReLU 网络的两个层的宽度足够大时，误差可以任意小。此外，案例分析了 IHVP 方法在过度参数化区域的误差限制及其相关性。实验结果验证 - 多层随机 ReLU 网络的对抗样本
研究了具有独立高斯参数的 ReLU 网络中对抗性样本的现象。它们通过计算接近于线性的函数产生，瓶颈层在网络中起着关键作用，并确定了到某点计算的比例和敏感度。该研究的主要结论是，在具有恒定深度的网络中，一些深度的限制是必要的，因为有一些深度适 - 提前停止的神经网络具有一致性
研究使用逻辑损失的梯度下降训练 ReLU 网络在二元分类数据上的行为，证明通过提前停止的梯度下降可以在总体风险上接近最优，并获得概率校准。
- 有限贝叶斯神经网络的精确边缘先验分布
研究了有限宽度的贝叶斯神经网络的函数空间先验，包括深度线性网络和有限的 ReLU 网络，并以 Meijer-G 函数的形式给出了先验表达式，结果统一了以前对于有限网络先验的描述。
- 关于 ReLU 网络的最优逼近速率及其宽度和深度的影响
研究如何使用深层前馈神经网络以最优近似方式处理 Holder 连续函数和 Lipschitz 连续函数，并验证 ReLU 网络在宽度和深度上的优越性，同时得出近似速率达到最优的结论。
- ICML关于使用线性宽度进行深度 ReLU 网络梯度下降全局收敛的证明
本文利用 Lipschitz 性质，仅需跟踪最后一个隐藏层的输出的演变，即可证明标准平方误差梯度下降可在单个宽层的 ReLU 网络中实现全局收敛，并显示了一些其跟先前的技术相比的改进。
- ICML针对对抗鲁棒性的分层验证
该研究提出了一种名为 LayerCert 的新框架，利用 ReLU 网络的分层几何结构解决点精确的 L_p 鲁棒性问题，进一步减少所需解决的凸规划数量和大小并提高了性能。
- 神经样条：用无限宽神经网络拟合三维曲面
介绍了一种基于无限宽的 ReLU 神经网络随机特征内核的 3D 表面重建技术，它能够超越最近的神经网络技术和 Poisson 表面重建方法，提供了一种简单且易于分析的内核公式，并证明其为更高维度的三次样条插值的推广。
- 一层 ReLU 网络的 PAC 学习算法和 SQ 下界
本论文研究了具有 $k$ 个隐藏单元的一层 ReLU 网络在高斯边缘下学习的问题，并提出了适用于正系数情况的首个多项式时间算法，解决了此前在 $k≤3$ 情况下无多项式时间算法的开放性问题。然而，对于具有任意实系数的一层 ReLU 网络的 - （过参数化）神经网络的近线性时间训练
该论文提出了一种基于随机线性代数的改进的二阶优化算法，重新解构了高斯牛顿迭代，使用快速 Johnson-Lindenstrauss 变换进行预处理，并使用一阶共轭梯度法得到足够好的近似解来训练 (moderately overparamet - 全局单射 ReLU 网络
本文探讨了深度神经网络中全连接和卷积层的可逆性和稳定性，指出了扩张性因子对网络可逆性的必要性和充分性，证明了任何 Lipschitz 映射都可以近似为可逆的 ReLU 网络，并提出了一个基于随机投影的全局可逆性模型。
- 双层神经网络在记忆中的网络尺寸和权重尺寸
使用复合的神经元重组，提出一种新的针对 ReLU 网络的训练方法，使得仅需使用数目较少的神经元就可以进行近似记忆，并且权重大小接近最优。
- 计算 ReLU 网络的局部 Lipschitz 常数
本文研究了神经网络的局部 Lipschitz 常数及其在鲁棒性、泛化性和公平性评估中的应用，提出将非光滑向量值函数的局部 Lipschitz 常数与广义 Jacobian 范数最大化相关联的新颖分析结果，并给出适用于广义 Jacobian - ICML通过动力系统的视角改进神经网络的深度 - 宽度平衡
该研究通过深度学习理论，探讨神经网络因其深度、宽度和激活单元类型的表现力，并通过动态系统中的一般固定点概念，获得了针对 ReLU 网络的深度分离结果。作者进一步提供了更强的 $L^1$- 逼近误差下的特定于期的宽度下界和更尖锐的宽度下界，并