Jun, 2024
用于训练科学机器学习应用的两级重叠加法 Schwarz 预条件器
Two-level overlapping additive Schwarz preconditioner for training scientific machine learning applications
Youngkyu Lee, Alena Kopaničáková, George Em Karniadakis
TL;DR提出了一种新颖的双层重叠添加 Schwarz 预条件器，用于加速科学机器学习应用的训练，通过在网络参数中引入重叠区域的组（子域），间接通过一种新颖的子域同步策略和粗粒度训练步骤实现网络的前馈结构，并通过一系列数值实验表明，所提出的双层预条件器显著加速了标准（LBFGS）优化器的收敛速度，同时产生了更准确的机器学习模型，此外，所设计的预条件器可以充分利用模型并行计算，从而进一步减少训练时间。