loss surface | BriefGPT - AI 论文速递

关键词loss surface

搜索结果 - 7

梯度优化中的走廊几何
通过研究梯度下降和梯度流的轨迹相同、损失线性减少的走廊区域，提出了走廊学习率自适应方案（CLR），证实了这种方案在神经网络的收敛性上的好处。
PDF5 months ago
ICLR线性连通性揭示泛化策略
使用 MNLI、QQP 和 CoLA 三个任务的文本分类模型为研究对象，发现了线性路径上增加的损失不断增加的现象，并探究了不同模型之间的泛化策略差异与损失表面几何形状之间的关系。
PDF2 years ago
通常的嫌疑犯？重新评估 VAE 后验崩溃的责任
本文探讨了高斯 VAE 模型在深度自编码器网络中存在的损失曲面局部极值点产生的潜在问题，可能导致潜在后验坍塌和信息截断的现象。
PDF5 years ago
曲率正则化带来的鲁棒性及其相反情况
本文研究了对抗训练对分类景观和决策边界几何形态的影响，展示了对抗训练导致的输入空间曲率减少及网络更 “线性” 行为的结果。我们提出一个直接最小化损失面曲率的新的规则化方法，并提供了理论上的证据表明大鲁棒性与小曲率之间存在强关联。
PDF6 years ago
ICLR从输入空间决策面视角解读对抗性鲁棒性
本文研究神经网络广义化的一个假说，指出参数空间的损失曲面与广义化并没有明显关系，而在对抗特性下，决策面在输入空间的几何性质与对抗稳健性相关，进而提出了一个对抗稳健性指标和相应的对抗训练方法，可提高神经网络对各种对抗攻击的稳健性，无需对抗性训
PDF6 years ago
双层神经网络优化景观中的虚假峰谷
本文主要研究神经网络中存在的局部极小值问题。针对两层神经网络，定义了其固有维度，并证明了有限的固有维度保证了超参数化的模型不存在局部极小值，而无限的固有维度意味着在某些数据分布下必然存在局部极小值。此外，尽管在一般情况下可能存在局部极小值，
PDF6 years ago
ICLR神经网络中激活函数的小非线性性会引起糟糕的局部最小值
本研究探讨神经网络的损失面。结果表明，大多数情况下，即使对于具有最轻微的非线性的单隐藏层网络，经验风险也有伪局部最小值。我们对深线性网络的全局最优性进行了全面的表征，统一了这个主题上的其他结果。
PDF6 years ago