- 依赖学习理论中的尖锐速率：避免样本数量紧缩对于平方损失的影响
统计学习中的依赖数据和平方损失在假设类 F 中研究，其中 Ψp 是范数 λf∥f∥Ψp≡supm≥1m−1/p∥f∥Lm 为某个 p∈[2,∞]。我们的研究旨在寻找一个与依赖数据学习相关的噪声交互项或者方差代理。在我们的假设类 F 上，当 - 用简单基线重新思考对抗性训练
使用简单有效的基线方法，通过将调整后的平方损失、循环学习速率和 Erasing 数据增强相结合的训练协议，取得了 CIFAR 和 SVHN 的 RobustBench 上有竞争力的结果。
- NTK 逼近在更长时间内有效
本篇研究探讨了神经切线核 (NTK) 近似在用方形误差训练模型中的有效性。在 Chizat 等人 2019 年的懒惰训练设置中，我们证明通过 O (T) 的模型缩放因子使得 NTK 近似能够有效直到训练时间 T。我们的界限紧密且优于 Chi - ReLU 网络在平方损失下的隐式正则化
针对非线性神经网络的回归损失（如平方损失），研究其隐含正则化（即隐含偏差）的特性，虽然已成为一个活跃的研究领域，但迄今为止仍未得到深入探究。本文通过一些证明，表明甚至对于单个 ReLU 神经元，无法利用原模型参数的任何显式函数来表征隐含正则 - PAC-Bayes 分析超越平常的边界
该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。
- ICLR神经网络分类任务中使用平方误差与交叉熵训练的结构评估
本文提供证据表明，对于 NLP 和 ASR 任务，使用方块损失函数进行神经网络训练，可以获得比交叉熵更好的效果，并且可以提高计算资源的利用率。我们认为，使用方块损失函数需要成为现代深度学习最佳实践的一部分，与交叉熵在平等基础上竞争。
- 基于 ReLU 的回归近似方案
本文提出一种基于分布函数采样数据的 ReLU 回归算法并给出了第一个可行的常数近似算法，同时该算法适用于所有对数凸分布。通过更加复杂的技术，我们还能够获得任何次高斯分布的多项式时间逼近方案。
- 正则化和非正则化经验风险最小化的高维分类：精确误差和最优损失
本文通过理论分析，在高维数据考虑时，通过经验风险最小化框架的分类性能，针对两类高斯混合问题，提出了精确的分类误差预测，并且提出了在岭正则化和非正则化的情况下，都采用简单的平方损失作为高维分类的最优选择。
- 数据内插是否违背了统计最优性原则？
学习方法插值训练数据可以实现最优率，适用于非参数回归和基于平方损失的预测问题。
- 随机梯度方法的测试误差的指数收敛
本研究研究了具有正定核和平方误差的二元分类问题，并研究了随机梯度方法的收敛速度。结果表明，当假设低噪声条件时，测试误差（分类误差）以指数速度收敛，而过量测试损失（平方损失）随着观测值的数量而慢慢收敛到零。
- 自协调分析用于 logistic 回归
该研究论文探讨了如何使用凸优化方法和自协调函数对正方形误差和逻辑损失进行理论分析，并将这些方法应用于逻辑回归中，通过结果表明二元分类的新结果可以从最小二乘回归中轻松衍生。
- 迹范数最小化的一致性
本文研究了套索正则化与奇异值的和（trace norm）正则化在估计低秩矩阵中的应用，并扩展了套索的一些一致性结果以提供必要和充分的条件，以实现具有方块差异的迹范数最小化的秩一致性，同时提供了一种自适应版本，即使不满足非自适应版本的必要条件