Feb, 2018

神经网络二元分类的损失曲面理解

PDF
TL;DR针对单层神经网络的拟合损失函数，研究神经网络算法中局部极小值的性质，提出当神经元是严格凸函数并且代理损失函数是铰链损失函数的平滑版本时，在所有局部极小值处训练误差为零的条件。同时，通过反例表明当损失函数替换为二次损失或逻辑损失时，该结论可能不成立。
neural networkslocal minimatraining performancebinary classificationhinge loss function
发现论文，激发创造
  • 使用代理凸损失函数最小化误分类误差率

    研究凸代理损失函数与二元分类问题中线性预测的分类误差率最小化之间的关系，发现在所有凸代理损失函数中，铰链损失提供了最佳的界限。同时，提供了特定凸代理损失的下界，显示常用损失函数之间的区别。

    Jun, 2012

  • 神经网络训练中的局部极小值

    本文主要探讨了对于深度模型的错误表面进行特征化的兴趣，揭示在某些条件下，深度模型的局部最小值会影响模型训练的结果，需要额外的数据前提、初始化方案和 / 或模型类来支持全局最佳解的优化。

    Nov, 2016

  • 多层神经网络训练无坏局部最小值：针对数据的独立误差保证

    通过平滑分析技术，我们对具有分段线性激活函数、二次损失和单输出的多层神经网络（MNN）在可微的局部极小值处的训练损失提供保证。特别地，我们证明对于一个具有一个隐藏层的 MNN，几乎每个数据集和 dropout-like 噪声实现的每个可微局部极小值的训练误差都是零，然后将这些结果扩展到多个隐藏层的情况。我们的理论保证对训练数据几乎没有限制，并得到了数值验证。这些结果说明了为什么这些 MNN 的高度非凸损失可以通过局部更新（例如随机梯度下降）进行易于优化，这与经验证据相符。

    May, 2016

  • 深且宽神经网络的损失曲面

    本文研究完全连接网络的优化问题，发现在具有金字塔结构、使用平方损失函数和分析激活函数的情况下，只要网络每层隐藏单元数大于训练点数，几乎所有的局部最小值都是全局最优解。

    Apr, 2017

  • 多层网络的损失曲面

    本文研究了全连接前馈神经网络的非凸损失函数与球形自旋玻璃模型哈密顿量之间的联系，并通过随机矩阵理论的结果来解释网络的复杂性和局部极小值的位置分布，利用计算机模拟和数学模型对结果进行了验证和验证。

    Nov, 2014

  • 添加一个神经元可以消除所有不良局部极小值

    本研究旨在探讨神经网络中非凸损失函数的分析难点，通过添加具有跳跃连接的特殊神经元或每层添加一个特殊神经元，证明了在温和的条件下，每个局部最小值都是全局最小值。

    May, 2018

  • 浅层线性神经网络的全局优化几何

    本文研究了浅层线性神经网络的平方误差损失景观。研究表明，对于相应的优化问题，其具有良好的几何性质，没有虚假局部极值，每个鞍点的 Hessian 矩阵至少有一个负特征值。这意味着在每个鞍点处，都有一个负的曲率方向可以用来优化目标函数值，因此很多局部搜索算法，如梯度下降，可以证明具有全局收敛性。

    May, 2018

  • 基于铰链损失训练的深度学习二元分类器的基本限制

    通过暴露使用铰链损失训练的基于深度修正线性单元（ReLU）前馈神经网络（FNN）或深度 ReLU 和 Tanh 激活的 FNN 的二元分类器的基本测试性能限制，本文导出了它们各自的新颖渐近测试性能限制，并通过大量的计算机实验验证了这些导出的测试性能限制。

    Sep, 2023

  • 在神经网络中围绕宽平坦最小值塑造学习模式

    本文研究了具有随机权重的一层和两层神经网络在非凸损失函数情况下的学习行为，引入了宽平原（WFM）这一概念，并探索了 WFM 如何出现以及在学习中起到什么作用。

    May, 2019

  • 使用本地错误信号训练神经网络

    该论文探讨了使用分层损失函数进行神经网络分类的监督训练的方法，表明可在多种图像数据集上达到最先进水平，在局部学习的情况下，使用本地误差可能是朝着更符合生物学的深度学习的一步。

    Jan, 2019