BriefGPT.xyz
Ask
alpha
关键词
neuron alignment
搜索结果 - 2
通过置换子空间进行训练时神经元对齐以提高线性模式连接性和模型融合
通过在训练时进行神经元对齐,以及使用剪枝和部分梯度掩码算法,研究了深度学习中解决线性模式连接层面上的障碍的方法,这在模型融合算法中具有重要的应用。
PDF
5 months ago
通过神经元对齐优化模式连接性
本文提出了一种更一般的框架来研究对称性对深度神经网络损失曲面中模式连通性的影响,该框架考虑了网络权重置换的影响,提出了称为神经元对齐的廉价启发式方法来近似最优置换,从而证明了该方法在模式连通性方面的实际效果优越。
PDF
4 years ago
Prev
Next