- 贝叶斯 PINN 逆问题估计速率
使用物理约束的神经网络和贝叶斯后验均值估计的方法在物理和机器学习领域得到了广泛的应用，本研究探讨了这些方法在解决偏微分方程及其反问题时的性能和收敛性。
- 压缩误差反馈实现高效垂直联邦学习
提出了一种错误反馈压缩式纵向联邦学习（EFVFL）方法，该方法通过利用错误反馈，在满批次情况下实现了 $\mathcal {O}(1/T)$ 的收敛速度，改善了垂直 FL 中压缩方法的收敛速度，并且与未压缩的方法相匹配，同时支持使用私有标签 - 开放问题：梯度下降的逐步收敛速度
通过改变步长序列，可以加速原始的梯度下降方法，并导致不断增大的误差，因此我们提出了一个问题：是否存在可以在任意停止时间下加速经典的 $\mathcal {O}(1/T)$ 收敛速度的梯度下降步长安排？
- 结构化牛顿式下降加速恶条件汉克尔矩阵恢复
本文研究了强韩克恢复问题，提出了一种名为 Hankel 结构性牛顿式下降（HSNLD）的新型非凸算法，该算法能同时去除稀疏离群值并填充部分观测的缺失条目。HSNLD 具有高效的线性收敛性，其收敛速度与基础 Hankel 矩阵的条件数无关。在 - ICML欠参数化模型中的联邦表示学习
在参数不足的情况下，我们提出了一种新颖的 Federated representation learning 算法 FLUTE，理论上表征了其在线性模型的样本复杂度和收敛速率，实验结果证明其优于现有解决方案。
- DPDR: 差分隐私深度学习的梯度分解与重构
通过提出 DPDR（差分隐私训练框架）实现隐私保护，通过提前梯度分解和重构、保护增量信息以及更新模型来提高隐私预算的利用效率，理论分析和广泛实验表明 DPDR 在收敛速度和准确性上优于现有基线方法。
- 自适应方差约减在较弱假设下随机优化中的应用
本篇论文探讨了基于 STORM 技术的自适应方差缩减方法。通过引入新设计的学习率策略，我们提出了一种新颖的自适应 STORM 方法，该方法对于非凸函数达到了最佳收敛率 O (T^-1/3)，同时无需额外的 O (log T) 项。我们还将该 - ICML理解随机自然梯度变分推断
随机自然梯度变分推断方法（NGVI）在各种概率模型中被广泛应用，本文对其非渐近收敛速度进行研究，证明了对于共轭似然情况下的非渐近收敛率为 1/T，而对于非共轭似然情况下的随机 NGVI，证明了它隐式地优化了一个非凸目标。
- 高效的基于符号的优化：通过方差减少加速收敛
本文介绍了 signSGD 方法及其收敛速率的改进，并引入了基于符号的随机方差缩减（SSVR）方法，通过引入方差缩减估计器来跟踪梯度并利用其符号进行更新；此外，还研究了分布式环境中的异构多数投票，引入了两种新算法以获得更好的收敛速率，通过数 - ICMLSPABA：一种单循环和概率性随机双层算法实现最优样本复杂度
我们的主要结果解决了一个开放问题：在机器学习中解决双层优化问题时，通过对非凸优化的一个适应性方法进行改进，SPABA 在有限和期望设置下都能达到最优样本复杂度，并证明了随机双层优化和单层优化在复杂度分析上不存在差距。此外，我们还提出了几种其 - CVPR个性化联邦学习的分散指导协作
个性化联邦学习（PFL）在每个客户端寻找最优个性化模型，我们提出了一种分布式的个性化联邦学习（DPFL）框架，通过引入随机梯度推送和部分模型个性化，实现了线性分类器的个性化，达到了更好的收敛速度。
- 通过稀疏和对齐的自适应优化实现通信高效的联邦学习
基于稀疏的共享稀疏掩码（SSM）的稀疏 FedAdam 算法（FedAdam-SSM）在联邦学习中表现出了快速的收敛速度和较高的测试准确性。
- CAFe：成本和年龄感知的联邦学习
通过优化参数 M 和 T，以减少通信成本和资源浪费，同时确保可接受的收敛速度，本研究提供了一个选择 M 和 T 的分析方案，其中全局模型的收敛可以通过参与者在参数服务器中的平均年龄作为指标来量化。
- Polyak 遇上无参数 Clipped 梯度下降
本研究探讨了参数自由方法在修剪的梯度下降中的应用，提出了非精确 Polyak 步长方法，其收敛速度与拥有良好调整的超参数的修剪梯度下降方法在 L 平滑和（L0，L1）平滑假设下，收敛到最优解的速度渐近独立。在合成函数和 LSTM、Nano- - 在基于评分扩散模型中适应未知的低维结构
本研究通过设计独特的系数，首次理论证明了去噪扩散概率模型可以适应目标分布中未知的低维结构，凸显了系数设计的重要性。
- 面向基于行动者和表格式马尔可夫决策的有原则实用策略梯度
我们考虑用于赌博机和表格马尔可夫决策过程（MDP）的（随机）softmax 策略梯度（PG）方法。最近的研究利用了 PG 目标的平滑性和梯度支配性质来实现对最优策略的收敛，而不需要设置算法参数。为了解决这个问题，我们借鉴了优化文献的思路，在 - ICML基于机器学习的自适应列生成稳定化
本论文介绍了一种新方法，通过机器学习准确预测最优对偶解，并结合自适应稳定化技术，缩小对偶值获得更准确结果的间隙，实现了在图着色问题中相对于传统方法更大幅度的收敛速率提升。
- 基于 ADMM 的分布式事件驱动学习
分布式学习问题中，通过在网络上交换信息，代理可以最小化全局目标函数。我们的方法具有两个显著特点：只在必要时触发通信以大幅减少通信量，并且对于不同代理的本地数据分布置之不理。我们分析了算法的收敛速度并在凸设置中导出了加速收敛速率。我们还表征了 - 异构环境中联邦学习的双段聚类策略
提出了一种双段聚类（DSC）策略，通过首先根据异构通信条件对客户端进行聚类，然后通过样本大小和标签分布进行第二次聚类，以解决数据和通信异构性问题。实验结果表明，该策略可以提高联邦学习的收敛速度，在异构环境中相比经典聚类算法具有更高的准确性。
- VALID：一种用于具有可能对抗性存在的分散网络中学习的验证算法
我们引入了验证型分散学习的范式，用于具有异构数据和可能受到对抗渗透的无向网络。我们的 VALID 协议首次实现了验证学习保证，并在非对抗环境中保持最佳性能指标。