ICMLAug, 2020

基于分布的权重矢量低损耗连接算法

PDF
TL;DR过参数化网络损失面的子级集合是连接的，本文描述和比较了一系列用于连接两个低损失点的低损失曲面的方法，其中大多数方法基于 “宏观” 分布假设，一些对待连接的点的详细属性不敏感，需要先训练全局连接模型来应用于任意一对点，方法的准确性通常与其复杂性和端点细节的敏感性相关。
overparameterized networksloss surfacesconnection methodsdistributional assumptionsglobal connection model
发现论文，激发创造
  • 多层网络的损失曲面

    本文研究了全连接前馈神经网络的非凸损失函数与球形自旋玻璃模型哈密顿量之间的联系，并通过随机矩阵理论的结果来解释网络的复杂性和局部极小值的位置分布，利用计算机模拟和数学模型对结果进行了验证和验证。

    Nov, 2014

  • 线性连通性揭示泛化策略

    使用 MNLI、QQP 和 CoLA 三个任务的文本分类模型为研究对象，发现了线性路径上增加的损失不断增加的现象，并探究了不同模型之间的泛化策略差异与损失表面几何形状之间的关系。

    May, 2022

  • 低成本多层网络的景观连通性解释

    在深度网络的损失面中模式连接是一个令人惊讶的现象，本文通过数学解释为阐述这个现象提供了理论支持，并通过实验进行验证。

    Jun, 2019

  • 深度学习中的连通子水平集

    该研究表明，具有分段线性激活函数的一类深度超参数神经网络的每个子级别集都是连通且无界的，从而意味着该损失函数没有不良的局部最小值，并且所有的全局最小值都位于唯一且可能非常大的全局最优解中。

    Jan, 2019

  • 通过神经元对齐优化模式连接性

    本文提出了一种更一般的框架来研究对称性对深度神经网络损失曲面中模式连通性的影响，该框架考虑了网络权重置换的影响，提出了称为神经元对齐的廉价启发式方法来近似最优置换，从而证明了该方法在模式连通性方面的实际效果优越。

    Sep, 2020

  • 基于 Betti 数的损失面拓扑描述

    通过对多层神经网络中的损失函数的拓扑度量，研究比较深层和浅层架构的复杂性以及其受隐藏单元数量、训练模型和激活函数的影响，揭示了一些特定情况下，添加正则项或在前馈网络中实施跳跃连接等对损失拓扑没有影响。

    Jan, 2024

  • 深度神经网络损失曲面优化的实证分析

    本文探讨了时下最先进神经网络的损失函数，以及常用随机梯度下降变体如何优化这些损失函数，探讨中发现每个优化算法在鞍点处会做出不同的选择，从而得出每个算法在鞍点处的特征选择假设。

    Dec, 2016

  • 半整流网络优化的拓扑和几何

    本文研究深度神经网络优化问题中的高维非凸性质，通过对数据分布和模型进行分析得出深度线性网络与半修正网络拓扑结构差异明显、非线性问题基于数据分布平滑程度和模型过度参数化的相互影响，通过证明半修正单层网络的渐进连通性，以及通过分析水平面的几何特征来研究梯度下降的调节。实验结果显示，虽然吸引子很小，但这些水平面在所有的学习阶段都保持连通。

    Nov, 2016

  • 潜变量混合的分布鲁棒损失

    该研究使用凸优化方法控制给定大小的所有子人群的最坏情况表现，从而提高模型的泛化能力。实证研究表明该方法可在未知子人群中推广。

    Jul, 2020

  • 损失曲面、模式连通性和 DNN 的快速集成

    本研究利用一种新的几何洞见发现了深度神经网络损失函数的凸性及优化过程中损失函数可达到极值的简单曲线，提出了一种利用此洞见的训练方法，并提出了一种名为快速几何融合（FGE）的新的集成方法，在 CIFAR-10、CIFAR-100 和 ImageNet 三个数据集上，与最新的快照集成法相比取得了更好的性能。

    Feb, 2018