关键词linear mode connectivity
搜索结果 - 8
- ICML景观线性模式连接
通过提供 “山坡和山脊” 视角以及理论分析障碍高度，我们致力于为线性模态连接的发生提供一个工作模型，了解在神经网络的非凸损失景观中出现线性模态连接的核心原因。
- 神经参数的对称性或不对称性的实证影响
对深度学习中的参数对称性进行了实证研究，通过引入具有降低参数对称性的新型神经网络架构，采用两种可证明保证的方法对标准神经网络进行改进，进行了多任务的全面实验研究，发现参数对称性对模型的影响，包括线性模式连接性和贝叶斯神经网络训练速度和效果的 - 可微树集合中的线性模式连接性
线性模连接（LMC）是指在参数空间中进行线性插值模型时性能保持一致的现象。本文首先实现了软树集成的 LMC，展示了树架构中子树翻转不变性和分割顺序不变性的必要性，并证明了通过设计基于决策列表的树结构可以在保持 LMC 的同时排除这些附加不变 - 线性模态连接性的基于置换的权重匹配分析
最近，Ainsworth 等人表明，在模型参数的置换搜索中使用权重匹配（WM）来最小化 $L_2$ 距离有效地识别符合线性模态连通性（LMC）的排列，其中在不同种子训练的两个独立模型之间的线性路径上的损失保持几乎不变。本文提供了关于使用 W - 通过置换子空间进行训练时神经元对齐以提高线性模式连接性和模型融合
通过在训练时进行神经元对齐，以及使用剪枝和部分梯度掩码算法，研究了深度学习中解决线性模式连接层面上的障碍的方法，这在模型融合算法中具有重要的应用。
- 通过最优传输证明神经网络的线性模式连接性
理论上解释了以往实验观察到的两次随机训练之后找到的两个不同解经常通过简单连续路径（例如线性）通过权重的排列变换相连的现象，基于经验测度的 Wasserstein 距离的收敛速度，我们证明了用随机梯度下降训练的足够宽的两层神经网络的线性连接性 - 模式组合能力：探索置换对齐模型的凸组合
我们研究了两个大小为 d 的排列对齐神经网络参数向量 ΘA 和 ΘB 之间的逐元素凸组合。我们通过检查由 [0,1]^{d} 超立方体元素参数化的各种模型组合的分布及其附近进行了大量实验证明，超立方体的广泛区域形成了低损失值的曲面，表明线性 - 超越线性模式连通性：逐层线性特征连通性
本文主要研究神经网络训练过程中的参数空间和特征映射，提出了一种新的线性连接概念 LLFC 并进行了广泛的经验分析。对 LMC 的深入研究揭示了新的有关生成和置换方法的因素，从已训练的网络的每个层的特征映射的角度推进了对 LMC 的理解。