ICMLJun, 2018

利用模式连通性进行损失函数分析

PDF
TL;DR本文通过研究不同训练条件下的模型连接性，探索了通过余弦退火和重启的随机梯度下降方法对损失表面的训练轨迹的影响，通过实验证明了 SGDR 方法虽然能够跨越障碍，但是不能收敛于多个局部最小值。
mode connectivityloss surfacestraining trajectoriessgdlocal minima
发现论文，激发创造
  • 丢失景观和对抗鲁棒性中的桥接模式连接

    本文提出使用模态连通性来研究深度神经网络的对抗鲁棒性，并提供了提高对抗鲁棒性的新方法。实验结果表明，使用少量的真实数据学习到的路径连接可以有效地减轻对抗攻击的影响，同时在干净数据上保持原有的准确性。同时，该研究还使用模态连通性来对比分析正常模型和鲁棒模型的损失，在对抗鲁棒性损失的路径上存在壁垒，该损失与输入 Hessian 矩阵的最大特征值之间存在高度相关性。

    Apr, 2020

  • 测地模式连接性

    使用信息几何的框架，我们假设在参数化分布的空间中的最短路径（称为测地线）对应于损失景观中的模式连接路径，并提出了一种算法来近似这些测地线并证明它们实现了模式连接的功能。

    Aug, 2023

  • 通过神经元对齐优化模式连接性

    本文提出了一种更一般的框架来研究对称性对深度神经网络损失曲面中模式连通性的影响，该框架考虑了网络权重置换的影响，提出了称为神经元对齐的廉价启发式方法来近似最优置换，从而证明了该方法在模式连通性方面的实际效果优越。

    Sep, 2020

  • 机制模式连通性

    本文研究神经网络损失景观的模式连接性，提出了机制相似性的定义，并证明缺乏线性连接意味着两个模型使用不同的机制进行预测。作者还介绍了一种名为基于连接性的微调方法用于正确修改一个模型的机制，以减少对于虚假属性的依赖。

    Nov, 2022

  • 探索预训练语言模型的模式连通性

    本文研究了预训练语言模型在不同配置下产生的极小值之间的几何连接及其任务知识随路径的变化情况，旨在通过探索 PLM 的模式连接来了解不同最小值之间的几何连接，从而有助于理解 PLM 下游适应的内部工作机制。

    Oct, 2022

  • 损失曲面、模式连通性和 DNN 的快速集成

    本研究利用一种新的几何洞见发现了深度神经网络损失函数的凸性及优化过程中损失函数可达到极值的简单曲线，提出了一种利用此洞见的训练方法，并提出了一种名为快速几何融合（FGE）的新的集成方法，在 CIFAR-10、CIFAR-100 和 ImageNet 三个数据集上，与最新的快照集成法相比取得了更好的性能。

    Feb, 2018

  • 景观线性模式连接

    通过提供 “山坡和山脊” 视角以及理论分析障碍高度，我们致力于为线性模态连接的发生提供一个工作模型，了解在神经网络的非凸损失景观中出现线性模态连接的核心原因。

    Jun, 2024

  • 低成本多层网络的景观连通性解释

    在深度网络的损失面中模式连接是一个令人惊讶的现象，本文通过数学解释为阐述这个现象提供了理论支持，并通过实验进行验证。

    Jun, 2019

  • 损失面体连接简单形式和快速集成

    该研究发现在多层网络中存在形成低误差的多维流形的模连接简单复合体，可用于构建高效的简单复合体来进行快速集成，具有优于独立训练深层集成的准确性、校准性和对数据集转换稳健性的特点。

    Feb, 2021

  • 生成对抗网络的收敛性和稳定性

    本次论文研究了使用后悔最小化的方式来训练 GAN，提出了在非凸偏好游戏中存在不良局部均衡的假设，并提出了 DRAGAN 梯度惩罚方案以避免产生收缩现象，这样可以实现更快速的训练，更少的模式崩溃以及更好的建模性能。

    May, 2017