- 异构数据上连续联合学习的尖锐界限
对于异构数据上的序列联邦学习 (SFL) 的收敛理论尚缺乏解决方案，本研究通过建立上下界，针对强凸、一般凸和非凸目标函数分别得出上界，以及匹配的强凸和一般凸目标函数的下界，将 SFL 的上界与平行联邦学习 (PFL) 的上界进行对比，结果表 - l1 支持向量机的平滑算法
设计用于大数据集的软间隔支持向量机优化问题的平滑算法通过对于铰链损失函数的平滑和对于 $\ell^{1}$ 惩罚项的活动集方法，在保持计算成本较低的同时，实现了强测试准确性。
- AsGrad: 异步 SGD 算法的锐利统一分析
异步类型算法在异构设置中被分析，提出了统一的收敛理论，并介绍了基于工人洗牌的新型异步方法，数值评估支持理论发现并展示了该方法的良好实际性能。
- 优秀的规则性形成大学习率的隐式偏差：稳定性、平衡和推动力的边界
优化中的大学习率、隐性偏差、非凸优化、规则性和收敛理论之间的关系。
- 大学习率驯服同质性：收敛与平衡效应
本文研究了在一个均匀的矩阵分解问题上使用大学习率的梯度下降（GD）算法，证明了在迭代收敛过程中该算法具有收敛性，同时还发现了 GD 算法在使用大学习率时存在的偏差，被称为 'data balancing'，并提供数值实验支持我们的理论。
- MM现代误差反馈的实用算法扩展 - EF21 升级版
本文提出了 6 种有效的实用扩展 EF21，并分别分析它们的强收敛理论，这些扩展可以与 EF 一起使用，采用压缩策略和带有 Markov 压缩器的新的错误反馈机制可以更好地优化分布式梯度下降算法。
- 轻度超参数化双层神经网络的局部收敛理论
本文研究了过度参数化对于神经网络构建优化的成功至关重要的原因，并发现过度参数化下的神经网络具有非常稳定的收敛性质，其学生节点不断向教师节点收敛，并有一个漂亮的收敛速率定理，该速率与学生节点的数量无关。
- AAAIMetaAugment: 样本感知数据增强策略学习
本文提出了一种以样本为基础的数据增强策略，采用元学习解决数据增强效果与样本间变异之间的平衡问题，并在 CIFAR-10/100、Omniglot、ImageNet 等数据集上通过实验证明了其优越性能。
- 超参数对抗训练：克服维数灾难的一种分析
采用 ReLU 激活函数和多项式宽度网络，在自然条件下实现对抗性训练的收敛理论，且证明了近似阶跃函数的 ReLU 网络有独立兴趣。
- 弱凸弱凹极大极小问题的一阶收敛理论
本研究考虑了一类非凸非凹极值问题的一阶收敛理论和算法，它在机器学习中有广泛的应用，包括训练生成式对抗网络（GAN）。我们提出了一种算法框架，通过解决一系列强单调变分不等式，证明了所提出的方法的一阶收敛性和收敛率，并在 GAN 的训练中证明了 - 自适应步长序列的随机梯度和次梯度方法
本文针对随机优化问题提出了两种自适应步长方案，并在此基础上设计了一种局部平滑技术，以获得可微的函数逼近，从而实现了一个自适应步长随机逼近框架。在三个随机优化问题中，两种方案表现良好并且不依赖用户定义参数。