NIPSFeb, 2018

损失曲面、模式连通性和 DNN 的快速集成

PDF
TL;DR本研究利用一种新的几何洞见发现了深度神经网络损失函数的凸性及优化过程中损失函数可达到极值的简单曲线，提出了一种利用此洞见的训练方法，并提出了一种名为快速几何融合（FGE）的新的集成方法，在 CIFAR-10、CIFAR-100 和 ImageNet 三个数据集上，与最新的快照集成法相比取得了更好的性能。
发现论文，激发创造
  • 损失面体连接简单形式和快速集成

    该研究发现在多层网络中存在形成低误差的多维流形的模连接简单复合体，可用于构建高效的简单复合体来进行快速集成，具有优于独立训练深层集成的准确性、校准性和对数据集转换稳健性的特点。

    Feb, 2021

  • PFGE：DNNs 的简易快速几何集成

    通过提出一种轻量级的 “PFGE” 方法，该论文改进了深度学习系统中集成学习方法的效率。PFGE 使用成功执行的随机权重平均过程的轻量级的高性能 DNN 的集合来提高内存效率，并且实验结果表明，该方法在保持泛化性能的同时可以实现比现有方法高 5 倍的内存效率。

    Feb, 2022

  • 深度集成：一种损失景观的视角

    通过研究深度神经网络的损失函数平面的同构性，我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面，并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。

    Dec, 2019

  • 函数空间内遍历模式以实现快速集成

    本文提出了一种新颖的框架来建立 “桥梁” 网络，以降低深度网络应用时的推断成本。通过预测在低损失子空间中评估原神经网络的输出，我们的 “桥梁” 网络可以在不经过原神经网络的前向传递的情况下预测低损失子空间中的输出，实验结果表明，我们确实可以使用这样的 “桥梁” 网络来降低推断成本。

    Jun, 2023

  • 测地模式连接性

    使用信息几何的框架，我们假设在参数化分布的空间中的最短路径（称为测地线）对应于损失景观中的模式连接路径，并提出了一种算法来近似这些测地线并证明它们实现了模式连接的功能。

    Aug, 2023

  • 深度神经网络损失曲面优化的实证分析

    本文探讨了时下最先进神经网络的损失函数，以及常用随机梯度下降变体如何优化这些损失函数，探讨中发现每个优化算法在鞍点处会做出不同的选择，从而得出每个算法在鞍点处的特征选择假设。

    Dec, 2016

  • 深且宽神经网络的损失曲面

    本文研究完全连接网络的优化问题，发现在具有金字塔结构、使用平方损失函数和分析激活函数的情况下，只要网络每层隐藏单元数大于训练点数，几乎所有的局部最小值都是全局最优解。

    Apr, 2017

  • 低成本多层网络的景观连通性解释

    在深度网络的损失面中模式连接是一个令人惊讶的现象，本文通过数学解释为阐述这个现象提供了理论支持，并通过实验进行验证。

    Jun, 2019

  • 神经网络损失函数的大尺度结构

    本文通过一个统一的现象学模型来解释深度神经网络优化过程中的一些令人惊讶、或者说是违反直觉的特性，其中高维度发挥了关键作用，通过将损失函数的空间看作是一系列高维楔形图的集合，揭示了优化算法收敛过程的内在规律，最终还研究了一些深度网络的集成技术。

    Jun, 2019

  • 通过神经元对齐优化模式连接性

    本文提出了一种更一般的框架来研究对称性对深度神经网络损失曲面中模式连通性的影响，该框架考虑了网络权重置换的影响，提出了称为神经元对齐的廉价启发式方法来近似最优置换，从而证明了该方法在模式连通性方面的实际效果优越。

    Sep, 2020