线性模块连接的分离

Dec, 2023

Disentangling Linear Mode-Connectivity

Gul Sena Altintas, Gregor Bachmann, Lorenzo Noci, Thomas Hofmann

TL;DR神经网络损失地形的线性模式连接 (或缺乏连接) 是一个有趣的特性，尽管在经验上已经被证实，但还缺乏适当的理论理解。本文通过探讨三个因素（架构、训练策略和底层数据集）对线性模式连接的影响，旨在弥补文献中对当网络展示线性模式连接的系统性研究的不足。我们特别关注最少但非平凡的设置，以尽可能消除不必要的复杂性，并相信我们的观察能够指导未来揭示线性模式连接内部机制的理论研究。

Abstract

linear mode-connectivity (LMC) (or lack thereof) is one of the intriguing characteristics of neural network loss landscapes. While empirically well established, it unfortunately still lacks a proper theoretical u

linear mode-connectivity neural network loss landscapes architecture training strategy underlying dataset

发现论文，激发创造

景观线性模式连接

通过提供 “山坡和山脊” 视角以及理论分析障碍高度，我们致力于为线性模态连接的发生提供一个工作模型，了解在神经网络的非凸损失景观中出现线性模态连接的核心原因。

Jun, 2024

超越线性模式连通性：逐层线性特征连通性

本文主要研究神经网络训练过程中的参数空间和特征映射，提出了一种新的线性连接概念 LLFC 并进行了广泛的经验分析。对 LMC 的深入研究揭示了新的有关生成和置换方法的因素，从已训练的网络的每个层的特征映射的角度推进了对 LMC 的理解。

Jul, 2023

可微树集合中的线性模式连接性

线性模连接（LMC）是指在参数空间中进行线性插值模型时性能保持一致的现象。本文首先实现了软树集成的 LMC，展示了树架构中子树翻转不变性和分割顺序不变性的必要性，并证明了通过设计基于决策列表的树结构可以在保持 LMC 的同时排除这些附加不变性的可能性。我们的发现表明，在实现 LMC 时需要考虑特定于架构的不变性的重要性。

May, 2024

通过神经元对齐优化模式连接性

本文提出了一种更一般的框架来研究对称性对深度神经网络损失曲面中模式连通性的影响，该框架考虑了网络权重置换的影响，提出了称为神经元对齐的廉价启发式方法来近似最优置换，从而证明了该方法在模式连通性方面的实际效果优越。

Sep, 2020

线性连通性揭示泛化策略

使用 MNLI、QQP 和 CoLA 三个任务的文本分类模型为研究对象，发现了线性路径上增加的损失不断增加的现象，并探究了不同模型之间的泛化策略差异与损失表面几何形状之间的关系。

May, 2022

低成本多层网络的景观连通性解释

在深度网络的损失面中模式连接是一个令人惊讶的现象，本文通过数学解释为阐述这个现象提供了理论支持，并通过实验进行验证。

Jun, 2019

机制模式连通性

本文研究神经网络损失景观的模式连接性，提出了机制相似性的定义，并证明缺乏线性连接意味着两个模型使用不同的机制进行预测。作者还介绍了一种名为基于连接性的微调方法用于正确修改一个模型的机制，以减少对于虚假属性的依赖。

Nov, 2022

通过最优传输证明神经网络的线性模式连接性

理论上解释了以往实验观察到的两次随机训练之后找到的两个不同解经常通过简单连续路径（例如线性）通过权重的排列变换相连的现象，基于经验测度的 Wasserstein 距离的收敛速度，我们证明了用随机梯度下降训练的足够宽的两层神经网络的线性连接性，并且对具有独立神经元权重的两个深度神经网络的每层宽度的上下界给出了线性连接性，最后通过展示权重分布支持的维度与线性模式连接性的相关性来验证我们方法的有效性。

Oct, 2023

丢失景观和对抗鲁棒性中的桥接模式连接

本文提出使用模态连通性来研究深度神经网络的对抗鲁棒性，并提供了提高对抗鲁棒性的新方法。实验结果表明，使用少量的真实数据学习到的路径连接可以有效地减轻对抗攻击的影响，同时在干净数据上保持原有的准确性。同时，该研究还使用模态连通性来对比分析正常模型和鲁棒模型的损失，在对抗鲁棒性损失的路径上存在壁垒，该损失与输入 Hessian 矩阵的最大特征值之间存在高度相关性。

Apr, 2020

线性模态连接性的基于置换的权重匹配分析

最近，Ainsworth 等人表明，在模型参数的置换搜索中使用权重匹配（WM）来最小化 $L_2$ 距离有效地识别符合线性模态连通性（LMC）的排列，其中在不同种子训练的两个独立模型之间的线性路径上的损失保持几乎不变。本文提供了关于使用 WM 的 LMC 的理论分析，这对于理解随机梯度下降的有效性及其在模型合并等领域的应用至关重要。我们首先通过实验和理论表明，WM 找到的排列并没有明显减小两个模型之间的 $L_2$ 距离，且 LMC 的发生并不仅仅是由于 WM 本身的距离缩小。然后，我们提供理论见解，表明排列可以改变每层权重矩阵奇异向量的方向，但不会改变奇异值。这一发现表明，WM 找到的排列主要是使得与大奇异值相关的奇异向量在模型之间更加接近。这种对齐使得后合并模型在功能上与前合并模型保持相似，从而容易满足 LMC。最后，我们分析了 WM 和依赖于数据集的直通估计器（STE）之间的差异，并表明 WM 在合并三个或更多模型时表现更好。

Feb, 2024