本文介绍了第一型 Anderson 加速在求解非光滑的固定点问题中的应用。通过交替使用保护步骤，采用 Powell 类型的正则化和重新启动检查强线性独立性更新，提出了第一个全局收敛的 Anderson 加速变体，假设固定点迭代是非扩张的。通过广泛的数值实验表明，许多一阶算法可以通过所提出的算法进行改进，特别是在终端收敛方面。本文所提出的加速方法正在 SCS 2.0 中得到实现，它是凸优化解析器求解器 CVXPY 1.0 中使用的默认求解器之一。

Aug, 2018

我们介绍了一个机器学习框架，用于启动固定点优化算法；我们的架构由一个神经网络和一定数量的固定点迭代组成；我们提出了两个损失函数，其中一个用于最小化固定点残差，另一个用于最小化到参考解的距离；我们的架构具有灵活性，可以预测任意步骤下的固定点算法的启动；我们提供了对常见类别的固定点算子（收敛、线性和平均）的未见数据的 PAC-Bayes 泛化界限；将该框架应用于控制、统计和信号处理等领域的知名应用可以显著减少求解这些问题所需的迭代次数和解决时间。

Sep, 2023

介绍了一种使用定点算数对已训练的神经网络进行精度调整的新技术，其可仅使用整数操作实施，并用线性规划生成一个新的定点格式，以确保其与浮点格式的行为相同，可用于安全关键系统中。

Feb, 2022

该论文介绍了一种通用的方案，使用最初设计用于最小化凸函数的梯度下降算法来解决非凸优化问题，该方案允许我们将这些方法用于弱凸性目标，这涵盖了机器学习和信号处理中通常出现的大类非凸函数。该方案无需假定目标函数具有凸性，而是通过自适应于未知的弱凸性常数来实现其保证。最后，本文还展示了将该方案应用于增量算法的几个实验结果。

Mar, 2017

介绍了一种名为 Catalyst 的通用方案，通过解决一系列适当选择的辅助问题来加速各种优化算法（包括梯度下降、块坐标下降和增量算法），从而加快收敛速度。

Dec, 2017

本文提出了一种基于漸进时间稳定性的梯度优化框架，从而加速收敛速度并提供了理论分析及在一些数值例子中的验证。

Dec, 2021

低数字精度如何影响神经网络的稳定性，以及如何通过随机舍入等方法提高固定点深度卷积网络的训练性能。

Jul, 2016

本研究引入了一种通用方案，利用对加速邻域点算法的新分析，加快一阶优化方法。通过近似解决一系列精心选择的辅助问题来最小化凸目标，从而实现更快的收敛速度，为包括梯度下降、块坐标下降、SAG、SAGA、SDCA、SVRG、Finito/MISO 及其邻域点变体在内的大类算法提供加速和明确的非强凸目标支持，加速在实践中证明对病态问题尤其有用。

Jun, 2015

本文介绍了用于凸优化中的加速技术的两个关键方法族（动量和嵌套优化方案），动量方法结构收敛证明使用几个主模板（例如用于优化梯度方法的那个）和近端加速，探讨了重新启动方案和一些常见的加速的技术。

Jan, 2021

通过精度分配方法，实现神经网络中所有参数的最小化，从而实现固定点训练。针对 CIFAR-10，CIFAR-100 和 SVHN 数据集，对四个网络进行实验验证，证实此方法具有接近最优的精度分配，可以与其他固定点神经网络设计相比较。（The precision assignment methodology reduces the complexity of fixed-point training for neural networks, and its optimality is validated empirically for various datasets and network designs）

Dec, 2018