本研究介绍了一种新的算法和理论视角，通过预处理来优化计算 Gaussian 过程中超参数的对数行列式及其导数，证明了其可行性，并在大规模基准问题上进行了实证验证，取得了杰出的效果。
Jul, 2021
对于大型数据集问题，使用 Nystrom 逼近预处理器可以几乎和精确预处理器一样加速梯度下降，同时减少计算和存储开销。
Dec, 2023
通过基于交替投影的迭代算法，我们提出了一种能够有效进行小批量处理的方法，在解决大规模高斯过程训练的实际挑战中，获得了线性收敛并具有良好的鲁棒性，实验证明在大规模基准数据集上，相比于共轭梯度方法，我们的方法加速了 2 倍到 27 倍。
Oct, 2023
使用图神经网络作为通用预处理器，通过适当生成的训练数据更好地近似矩阵的逆，从而在解决病态问题方面表现出吸引人的性能，以及在构建时间和执行时间方面的优势，具有潜力解决来自偏微分方程、经济学、统计学、图形和优化等多个领域的大规模挑战性代数问题。
Jun, 2024
大规模线性系统中使用迭代求解器和预处理器，我们使用小型图神经网络作为预处理器并与传统方法和神经网络预处理进行对比实验证明我们的方法更优。
May, 2024
通过对预处理的随机梯度下降（SGD）和岭回归的综合比较研究，我们建立了预处理的 SGD 和岭回归的过度风险界限，并证明了存在一个简单的预处理矩阵能够优于标准的和预处理的岭回归，从而展示了预处理的 SGD 的增强正则化效果。
Mar, 2024
本文提出一种新算法 ScaledGD，它是梯度下降方法的预处理或对角线缩放版本，其预处理器是自适应且具有最小的计算开销，在低秩矩阵感知，鲁棒主成分分析和矩阵完成等任务中实现了线性收敛，具有优秀的性能表现。
May, 2020
本文提出了一种新的方法，通过估计一个预条件器来加速随机梯度下降算法的收敛速度，适用于凸性和非凸性优化，具有稳定梯度降噪的效果，并且经过了大规模问题的有效预条件估计验证，可以在无需调整的情况下，高效解决深度神经网络等复杂问题
Dec, 2015
本文提出了一种基于自监管训练的图神经网络的数据驱动方法，用于加速科学计算和优化中遇到的大规模线性方程组求解，并且通过替换传统的手工制备预处理器，在收敛速度和计算效率方面实现了显著的提速。在我们的方法的核心是一种受稀疏矩阵理论启发的新型消息传递块。 我们评估了我们提出的方法在科学计算中产生的合成和真实问题上，结果表明 NeuralIF 在各种指标上都实现了竞争性的性能。
May, 2023
这篇论文提出了基于近期的数据草图 (sketching) 与优化发展的快速方法，结合 (加速的) mini-batch SGD 与一个叫做两步预处理的新方法，以比当前低精度情况下最先进技术所需的时间复杂度更低的近似解。这个方法也可以扩展到高精度情况，提供一个具有显著时间复杂度改进的 Iterative Hessian Sketch (IHS) 方法的替代实现。基准和合成数据集上的实验表明，我们的方法确实在低精度和高精度情况下都明显优于现有方法。
Feb, 2018