大规模线性系统中使用迭代求解器和预处理器，我们使用小型图神经网络作为预处理器并与传统方法和神经网络预处理进行对比实验证明我们的方法更优。

May, 2024

该研究提出了一种新颖的端到端可学习的、可微的非刚性运动跟踪器，通过学习的鲁棒优化实现了最先进的非刚性重建。

Jun, 2020

通过引入神经参数高斯（NPGs）模型，本文通过两阶段的方法来重建动态物体，即先学习对象的变形，再通过优化三维高斯模型来获得高质量的物体重建，从而在新视角中保持三维一致性，并在少量多视图线索的挑战性场景中取得优越的结果。

Dec, 2023

使用图神经网络作为通用预处理器，通过适当生成的训练数据更好地近似矩阵的逆，从而在解决病态问题方面表现出吸引人的性能，以及在构建时间和执行时间方面的优势，具有潜力解决来自偏微分方程、经济学、统计学、图形和优化等多个领域的大规模挑战性代数问题。

Jun, 2024

该研究提出了一种用于实时追踪刚体三维物体 6 自由度位姿的算法，采用单目 RGB 相机，利用一种基于区域的代价函数，并通过 Gauss-Newton 优化得到高度准确和鲁棒的跟踪性能，特别是在有杂乱背景，异质对象和局部遮挡的情况下，该算法表现出色。

Jul, 2018

该研究提出了一种名为预条件隐藏梯度下降（PHGD）的灵活的一阶方法，旨在利用机器学习中隐藏的凸结构以实现收敛到均衡状态。研究对非合作博弈、Nash 均衡和控制变量与凸结构之间的转换提供了明确的收敛率保证。

Dec, 2023

本文提出一种使用深度神经网络建模变形图表达非刚性物体的全局一致变形跟踪和三维重建方法，能够在快速运动或时间不连续记录的情况下实现稳健的跟踪，并在明确的视点一致性和图形表面一致性约束下全局优化神经变形图进行自监督训练，同时利用隐式多层感知器形态表示对物体的形状进行优化，实验表明其效果优于现有的非刚性重建方法。

Dec, 2020

提出了一种新的方法，通过利用从海森矩阵向量积或参数和梯度的有限差分得到的曲率信息，类似于 BFGS 算法，加速随机梯度下降（SGD）。该方法涉及两个预条件器：一个矩阵无关的预条件器和一个低秩近似预条件器。我们使用一种对随机梯度噪声稳健且不需要线性搜索或阻尼的标准在线更新两个预条件器。为了保持相应的对称性或不变性，我们将预条件器约束为某些连通的李群。李群的等变性质简化了预条件器拟合过程，而其不变性质消除了通常在二阶优化器中需要的阻尼需求。因此，参数更新的学习率和预条件器拟合的步长在自然数值化，它们的默认值在大多数情况下都能很好地工作。我们的方法为提高 SGD 的收敛速度提供了一个有希望的方向，且计算开销较低。我们证明，在多个现代深度学习架构上，基于预条件的 SGD（PSGD）在视觉，自然语言处理和强化学习任务上优于 SoTA。本文提供了复现玩具和大规模实验的代码。

Feb, 2024

本文提出了一种基于牛顿法的优化程序，通过迭代两个子问题来实现高效计算，使用块协调下降来限制内存使用并实现快速收敛，解决了大规模问题下的内存限制和精度问题。

Sep, 2015

本文提出了一种新的梯度下降和扰动上升（GDPA）算法，用于解决一类平滑的非凸不等式约束问题，该算法是首个能够解决非凸平滑问题和非凸不等式约束的单循环算法之一，并具有较好的收敛性能和求解效果。

Jul, 2022