Feb, 2024
数据引导的多尺度损失和高效多速率梯度下降方案
Data-induced multiscale losses and efficient multirate gradient descent
schemes
TL;DR这篇论文研究了多尺度数据对机器学习算法的影响，尤其是在深度学习的背景下。它揭示了损失景观中的多尺度结构，包括从数据中继承的梯度和海森矩阵。相应地，它引入了一种新颖的梯度下降方法，灵感来自科学计算中使用的多尺度算法。这种方法试图超越经验性的学习率选择，提供一种更系统、以数据为基础的策略，以增强训练效率，特别是在后期。