Sep, 2018

利用堵塞转换理解深度神经网络的损失景观

PDF
TL;DR研究表明，神经网络在过参数化区域存在相变点，且能够拟合随机数据的能力与深度无关，该相变点附近的损失函数具有层次结构且学习动态容易出现雪崩样的变化，可能导致学习的数据模式产生突变。
发现论文，激发创造
  • 欠参数化向过参数化的阻塞转换对损失曲面和泛化的影响

    本文利用学术研究和实验结果论证了：当超参数数量足够多时，理论上可以达到较好泛化性能，同时我们给出了在该网络中哪些类别存在过拟合现象，这一发现与其他研究结果相符合。

    Oct, 2018

  • 深度学习泛化理解：损失景观的视角

    研究表明，深度神经网络模型具有很好的泛化能力，其优秀的泛化能力是来自于损失函数的加权局部最小值及其优化方法。

    Jun, 2017

  • 超参数神经网络的损失景观

    本文研究过参数神经网络的损失函数的数学特性，证明了当神经网络的参数数目大于数据点数目时，全局最小值点的集合通常是一个高维子流形。

    Apr, 2018

  • 机器学习中的黑洞和损失地貌

    本文研究机器学习中的损失函数问题，发现黑洞的熵与网络中的损失函数形成类似的能量景观，提供微观描述黑洞的潜在能量景观，估算随机梯度下降能找到大部分的极小值。

    Jun, 2023

  • 神经损失景观的局部几何的新兴特性

    本文通过实验和理论研究了神经网络的波动，发现高维神经网络的损失函数曲面具有多方向高正曲率、梯度下降具有狭窄、随机位于此曲面中不同位置处的超平面理论能够解释背后的机理。

    Oct, 2019

  • 多层网络的损失曲面

    本文研究了全连接前馈神经网络的非凸损失函数与球形自旋玻璃模型哈密顿量之间的联系，并通过随机矩阵理论的结果来解释网络的复杂性和局部极小值的位置分布，利用计算机模拟和数学模型对结果进行了验证和验证。

    Nov, 2014

  • 神经网络能量景观基本无障碍

    研究发现，神经网络的能量场通常是平坦的，在极小值点之间存在足够的容量进行结构性变化，且每个极小值点至少有一个消失的 Hessian 特征值。

    Mar, 2018

  • 神经网络损失函数的大尺度结构

    本文通过一个统一的现象学模型来解释深度神经网络优化过程中的一些令人惊讶、或者说是违反直觉的特性，其中高维度发挥了关键作用，通过将损失函数的空间看作是一系列高维楔形图的集合，揭示了优化算法收敛过程的内在规律，最终还研究了一些深度网络的集成技术。

    Jun, 2019

  • 深度学习中的经验风险景观 II

    这项研究以理论和实验相结合的方式，对超参数化的 DCNN 的经验风险进行了表征，并提出了一个关于 DCNN 经验损失面的直观模型。

    Mar, 2017

  • 在神经网络中围绕宽平坦最小值塑造学习模式

    本文研究了具有随机权重的一层和两层神经网络在非凸损失函数情况下的学习行为，引入了宽平原（WFM）这一概念，并探索了 WFM 如何出现以及在学习中起到什么作用。

    May, 2019