Jun, 2021

神经网络损失函数曲面的线性插值可以为我们提供什么信息?

TL;DR本文研究神经网络的损失景观,通过线性插值从初始状态到最终状态的方式探讨算法中的优化问题,发现线性插值的形状并不反映模型测试准确度变化,这破坏了关于插值中阻碍存在或不存在与优化成功相关的广泛思想。