BriefGPT.xyz
Ask
alpha
关键词
permutation symmetries
搜索结果 - 4
ICML
景观线性模式连接
通过提供 “山坡和山脊” 视角以及理论分析障碍高度，我们致力于为线性模态连接的发生提供一个工作模型，了解在神经网络的非凸损失景观中出现线性模态连接的核心原因。
PDF
12 days ago
神经网络模定域排列的线性连通性
神经网络通常表现出置换对称性，这会导致网络损失地形的非凸性，因为线性插值两个置换的网络版本通常会遇到较高的损失障碍。最近的研究认为，置换对称性是非凸性的唯一来源，这意味着如果适当进行置换，训练网络之间基本上没有这样的障碍。在这项工作中，我们
→
PDF
3 months ago
等变深度权重空间对齐
通过学习解决权重对齐问题的新框架 Deep-Align，该研究提出了深度网络的排列对称性和权重排列两个基本对称性，并在多个网络架构和学习设置上进行了实验，结果显示 Deep-Align 能够产生与当前优化算法相比更好或相等的对齐，并可用作其
→
PDF
9 months ago
Git Re-Basin: 模除置换对称的模型合并
本研究提出了三种算法，用于将一个模型的单元重新排列以与参考模型对齐，以便在权重空间中合并两个模型，实验结果表明了单一流域现象在各种模型架构和数据集中的存在，并讨论了模型宽度和训练时间与模式连通性的相关现象，同时证明了单流域理论的一个反例。
PDF
2 years ago
Prev
Next