Apr, 2023

离散与连续权重的非凸神经网络中的典型和非典型解

PDF
TL;DR本文研究了二进制和连续的负边缘感知器作为学习随机规则和关联的简单非凸神经网络模型，并探讨了两种模型解决方案的几何学特征。结果发现，即使在高度非约束的情况下，存在大量的极宽、极平的最小值，这有助于提高学习器的泛化性能。
neural networksrandom rulesminimizersentropygeneralization
发现论文，激发创造
  • 球面负感知机解的星形空间

    研究了负球面感知器模型中的能量壁垒、简单连接性质和优化动力学，并通过计算和数值模拟表征了解决方案空间的组织结构和转换过程。

    May, 2023

  • 神经网络中的高维解流形：基于统计物理的见解

    论文概述了统计力学方法在神经网络中的应用，重点讨论了感知器结构、训练误差配置和解空间的平均形状等主题。

    Sep, 2023

  • 在神经网络中围绕宽平坦最小值塑造学习模式

    本文研究了具有随机权重的一层和两层神经网络在非凸损失函数情况下的学习行为，引入了宽平原（WFM）这一概念，并探索了 WFM 如何出现以及在学习中起到什么作用。

    May, 2019

  • 熵梯度下降算法与宽平坦最小值

    论文讨论了神经网络的经验风险景观的平坦极小值的特性，提出了增加最大平坦度算法，可以得到更好的分类效果。

    Jun, 2020

  • 多层网络的损失曲面

    本文研究了全连接前馈神经网络的非凸损失函数与球形自旋玻璃模型哈密顿量之间的联系，并通过随机矩阵理论的结果来解释网络的复杂性和局部极小值的位置分布，利用计算机模拟和数学模型对结果进行了验证和验证。

    Nov, 2014

  • 深度网络平坦极小值的独特特性

    研究表明，随机梯度下降有一个偏好于平滑最小值的隐含偏差。 本文研究发现，在具有二次损失的线性神经网络训练中，线性 ResNets 的零初始化必然收敛于所有最小值中最平滑的最小值，这些最小值对应着接近平衡网络。另外，相邻层的权重矩阵在平坦的极小值解中相互耦合，形成了从输入到输出的明显路径，该路径只用于体验端到端最大增益的信号。

    Feb, 2020

  • 通过位移凸性分析两层神经网络

    使用线性组合的神经元对凸紧致区域上的凹函数进行拟合，将所得的经验风险最小化问题收敛到概率分布空间中的 Wasserstein 渐进流（Wasserstein gradient flow），且在 bump 宽度趋近于 0 时，具有特殊的位移凸性（displacement convexity），由于此渐进理论能够描述中等值的行为，因此在对风险最小化和对宽度数量的理解方面仍存在着挑战。

    Jan, 2019

  • 离散突触的神经网络中亚支配稠密区域实现简单学习与高计算性能

    本文研究神经系统中的离散型突触权重在学习和优化中的应用，并通过学习随机模式来证明其性能。研究发现，这些离散型突触的特定配置可以通过简单学习协议轻松获得，并对干扰具有稳健性。同时，基于局部熵最大化的大偏差度量也提出了一些新的优化算法方案。

    Sep, 2015

  • 半整流网络优化的拓扑和几何

    本文研究深度神经网络优化问题中的高维非凸性质，通过对数据分布和模型进行分析得出深度线性网络与半修正网络拓扑结构差异明显、非线性问题基于数据分布平滑程度和模型过度参数化的相互影响，通过证明半修正单层网络的渐进连通性，以及通过分析水平面的几何特征来研究梯度下降的调节。实验结果显示，虽然吸引子很小，但这些水平面在所有的学习阶段都保持连通。

    Nov, 2016

  • 混合凸组合优化问题下的深度学习

    本研究提出了一种递归小批量算法，通过离散优化目标找到满足训练集目标的硬阈值激活神经网络，可以提高分类精度，适用于大规模集成系统。

    Oct, 2017