- 基于梯度的状态潜力博弈在自学生产系统中的学习
在这篇文章中，我们介绍了一种面向自学习分布式生产系统的基于梯度的优化方法，该方法用于状态基潜在博弈（SbPGs）。我们的研究旨在将传统的基于随机探索的学习方法替换为现代的基于梯度的方法，以实现更快的收敛和更平滑的探索动力学，从而缩短训练时间 - ICML了解不完全客户参与下的服务器辅助联合学习
现有联邦学习中存在的问题主要集中在不完全用户参与和理解的理论方面，本文通过提出服务器辅助联邦学习框架，解决了不完全客户参与的问题，并通过实验验证了其性能改进。
- GRAWA：基于梯度的加权平均方法用于分布式训练深度学习模型
我们研究了在时间受限环境下的分布式深度学习模型训练，提出了一种新算法，通过按照工作节点的梯度范数的倒数进行加权平均来推动工作节点接近计算得出的中心变量，以优先恢复优化景观中的平坦区域。我们开发了两种异步变体的算法，分别称为模型级梯度加权平均 - 离散时间扩散模型的非渐近收敛：新方法和改进速率
去噪扩散模型是一种将噪声转换为数据的强大生成技术，本论文研究了离散时间扩散模型在更大范围的分布上的收敛性保证，并提出了一种加速采样器来提高收敛速度和维度依赖性。
- 张量列车恢复的保证非凸分解方法
通过对所谓的左正交 TT 格式进行 Riemannian 梯度下降（RGD）优化，本论文首次为因子分解方法提供了收敛保证，并证明了 sensing 问题中 RGD 在适当初始化下能够以线性速率收敛到真值张量。
- 高效求解密集线性系统的方法
提出了一种随机优化算法，通过块坐标下降方法和矩阵草图技术，在线性系统中实现了良好的收敛性能和快速迭代时间。
- 缩小 Adam 迭代复杂度上界与下界之间的差距
本文通过导出 Adam 的新收敛保证来推翻现有 Adam 收敛的下界，并且证明当使用适当的超参数时，Adam 满足一阶优化器的下界和上界，为 Adam 的收敛性建立了严密的上界。
- 使用双重控制器解决联邦半监督学习中的数据不平衡问题
该论文提出了一种名为 FedDure 的新型 FSSL 框架，其中采用双重调节器（C-Reg 和 F-Reg）来解决数据分布不同的 FSSL 实际和挑战场景，并用双层优化来调整模型的训练过程，理论和实证结果都表明 FedDure 优于现有方 - 具有共生学习的近似最优异方差回归
本文研究异方差线性回归问题，提出一种新的方法估计真实权重向量 w，并对该方法提供了收敛保证及误差估计。
- 均值漂移的收敛分析
本文研究了平均漂移算法中核密度估计模态的收敛性问题，通过 Lojasiewicz 不等式证明了模态的收敛性和收敛速度，该结论对基于核密度估计模态估计的非负核函数具有重要的理论参考价值。
- 非凸分布鲁棒优化：非渐近分析
本研究探讨分布式鲁棒优化，提出了一种适用于一般光滑非凸损失的 DRO 算法，并将其与条件风险价值（CVaR）设置相结合，得到类似的收敛保证，经实验证明所提出算法的性能表现突出。
- ICML全球思维，本地行动：基于贝叶斯优化的高维分类和混合搜索空间
本文提出一种结合局部优化与定制内核设计的新型解决方案，有效应对高维分类和混合搜索空间，同时保留样本效率，经实验证明在性能、计算成本等方面优于当前基准。
- 随机梯度下降与动量的改进分析
本文介绍了 SGD 与 momentum (SGDM) 对于光滑目标在强凸和非凸背景下的收敛速度，并确证了多阶段策略对于 SGDM 的好处，并通过数值实验验证了理论结论。
- 带状态分布修正的离策略策略梯度
该研究针对 Markov 决策过程中的离策略策略优化问题，开发了一种新颖的离策略策略梯度方法，解决了基于之前行为策略采集数据的状态分布与学习策略下的状态分布不匹配的问题，并提供了该方法的理论收敛保证和实验验证。
- 去中心化网络化深度多智能体强化学习的价值传播
本研究提出了一种名为 value propagation 的基于 softmax 时间一致性和分布式优化的 MARL 算法，实现了非线性函数逼近、非 asymptotic 收敛率、离线策略转移和控制的收敛保证。
- NIPS快速对称非负矩阵分解中的对称丢弃
本文介绍了一种解决对称非负矩阵分解问题的快速算法，该算法通过将对称问题转化为非对称的形式进行求解，并证明了这种方法能够在达到全局最优解的同时具有强收敛性，实验表明该算法在数据分析和聚类任务中的应用效果良好。
- 矩阵补全的留一法：原始和对偶分析
本文介绍了一种基于 Leave-one-out 方法的技巧用于解决低秩矩阵完成问题，进而通过对 Projected Gradient Descent 和 nuclear norm minimization 等算法进行分析，得到了这些算法的收 - 一种减少空间的算法用于最小化 $\ell_1$ 正则化凸函数
本文提供了一种在模型预测问题中，最小化可微凸函数和 L1-norm 正则化器的新方法，并给出了收敛保证，通过在预测支持中使用缩减空间问题、条件判断使用不同的数值优化技术、预测支持的计算可行性条件和缩减梯度步骤以确保目标函数的足够减少，达到了 - 非凸非光滑优化中的 ADMM 全局收敛性
本文分析了交替方向乘子法（ADMM）在非凸优化中的收敛性，并提供了针对特定情形的收敛保证。同时，通过例子和分析，本文表明 ADMM 有望比增广拉格朗日方法（ALM）更适用于某些非凸非光滑问题。