提出了一种名为 AA-DLADMM 的算法，它使用了 Anderson 加速以改进 ADMM 优化算法的收敛速度，通过在四个基准数据集上进行广泛实验证明了该算法的有效性和效率。

Jan, 2024

提出了一个新的极小极大优化框架 GDA-AM，利用 Anderson 混合算法加速 GDA 收敛，解决了同时使用 GDA 时出现的发散问题，并以理论和实验的方式证明该算法在较温和的条件下可以实现二次问题的全局收敛，并改进了 GAN 训练。

Oct, 2021

提出了一种基于 Anderson 加速的 IRL1 算法，并建立了其局部线性收敛速度，扩展了该收敛结果到非光滑情况。为了确保全局收敛性，引入了经典的非单调线搜索条件，实验结果表明该算法优于现有的基于 Nesterov 加速的算法。

Mar, 2024

本文介绍了第一型 Anderson 加速在求解非光滑的固定点问题中的应用。通过交替使用保护步骤，采用 Powell 类型的正则化和重新启动检查强线性独立性更新，提出了第一个全局收敛的 Anderson 加速变体，假设固定点迭代是非扩张的。通过广泛的数值实验表明，许多一阶算法可以通过所提出的算法进行改进，特别是在终端收敛方面。本文所提出的加速方法正在 SCS 2.0 中得到实现，它是凸优化解析器求解器 CVXPY 1.0 中使用的默认求解器之一。

Aug, 2018

提出了一种基于 Anderson Mixing 的随机方法，称为 SAM，用于求解非凸随机优化问题，并应用于训练各种神经网络，包括 CNN、ResNet、WideResNet、ResNeXt、DenseNet 和 RNN，实验证明该方法具有优异的性能。

Oct, 2021

图神经网络 (GNN) 在各种基于图的任务中显示出有效性，然而他们在训练和推理中的低效性给实现规模化的实际世界和大规模图应用带来挑战。为了解决这些关键问题，提出了一系列加速 GNN 训练和推理的算法，吸引了研究界的越来越多的关注。本文对 GNN 中的加速算法进行了系统综述，根据目的将其划分为三个主要主题：训练加速、推理加速和执行加速。具体来说，我们总结和分类了每个主题下的现有方法，并对每个类别的方法进行了详细的描述和特征化分析。此外，我们还回顾了几个与 GNN 加速算法相关的库，并讨论了我们的可扩展图学习 (SGL) 库。最后，我们提出了未来研究的有希望的方向。在我们的 GitHub 仓库中提供了完整的摘要：this https URL。

May, 2024

本文提出了一种利用 Anderson 加速方法加速 Iterative Closest Point 算法的新方法，无需对现有代码进行实质性改动，使其更具实时性。利用 Point Cloud Library 实现本方法，并全面支持在真实数据上 achieved 相较于现有方法更好的加速效果。

Sep, 2017

对于深度学习模型的训练加速技术的综述，主要从数据中心、模型中心、优化中心、预算训练和系统中心五个角度入手，详细介绍了各个方面减小计算复杂度的方法，其中包括数据样本的正则化、模型参数的减少和优化目标的设计等。

Apr, 2023

研究通过应用 Gradient Accumulation、Automatic Mixed Precision 和 Pin Memory 等方法来加速深度神经网络的训练过程，并证明这些方法能够显著提高训练效率，为深度学习过程的改进提供重要见解。

Dec, 2023

基于模拟设备的梯度训练是一种能耗更低的人工智能解决方案，该论文通过研究模拟加速器上的梯度训练，提出了一个理论基础，并介绍了一种名为 Tiki-Taka 的启发式模拟算法，该算法能够快速收敛到关键点，消除了渐近误差。

Jun, 2024