Mar, 2024
PETScML：科学机器学习中用于训练回归问题的二阶求解器
PETScML: Second-order solvers for training regression problems in
Scientific Machine Learning
TL;DR最近几年，我们见证了科学机器学习作为一种数据驱动的工具的兴起，通过深度学习技术分析计算科学和工程应用产生的数据。这些方法的核心是监督训练算法，用于学习神经网络实现，这是一个非常非凸的优化问题，通常使用随机梯度方法来解决。然而，科学机器学习训练问题与深度学习实践不同，它们具有更大量的平滑数据和更好的经验风险函数特征，使它们适用于无约束优化的常规求解器。我们介绍了一个轻量级的软件框架，建立在可移植和可扩展科学计算工具包之上，以弥合深度学习软件和无约束最小化的常规求解器之间的差距。我们通过实验证明，基于高斯-牛顿近似Hessian的信任域方法在学习科学机器学习技术和测试用例的代理模型时，可以显著提高回归任务中产生的泛化误差。所有被测试的常规二阶求解器，包括L-BFGS和带有线搜索的非精确牛顿法，无论在成本还是准确性上都与用于验证代理模型的自适应一阶方法相比较有利。