BriefGPT.xyz
大模型
Ask
alpha
关键词
loss surfaces
搜索结果 - 4
随机矩阵理论与神经网络的损失曲面
此篇论文利用随机矩阵理论来理解和描述神经网络的损失曲面及其谱，并应用于现代神经网络的训练方法，为随机矩阵理论在现代神经网络的理论研究中提供了重要的贡献。
PDF
a year ago
ICML
基于分布的权重矢量低损耗连接算法
过参数化网络损失面的子级集合是连接的，本文描述和比较了一系列用于连接两个低损失点的低损失曲面的方法，其中大多数方法基于 “宏观” 分布假设，一些对待连接的点的详细属性不敏感，需要先训练全局连接模型来应用于任意一对点，方法的准确性通常与其复杂
→
PDF
4 years ago
ICLR
分段线性激活显著地塑造了神经网络的损失曲面
本文介绍分段线性激活函数对神经网络损失曲面的形状有较大的影响，证明了许多神经网络的损失曲面具有无限的虚假局部极小值，将神经网络损失曲面分为多个平滑和多线性细胞。
PDF
4 years ago
ICML
利用模式连通性进行损失函数分析
本文通过研究不同训练条件下的模型连接性，探索了通过余弦退火和重启的随机梯度下降方法对损失表面的训练轨迹的影响，通过实验证明了 SGDR 方法虽然能够跨越障碍，但是不能收敛于多个局部最小值。
PDF
6 years ago
Prev
Next