BriefGPT.xyz
Apr, 2024
我们是否可以通过神经崩溃来理解可塑性？
Can We Understand Plasticity Through Neural Collapse?
HTML
PDF
Guglielmo Bonifazi, Iason Chalas, Gian Hess, Jakub Łucki
TL;DR
本文探讨深度学习中两个最近发现的现象之间的联系：可塑性损失和神经崩溃。我们分析了它们在不同场景中的相关性，揭示了在第一任务的初始训练阶段存在显著关联。此外，我们介绍了一种规范化方法来减轻神经崩溃，证明了它在这种特定情况下减缓可塑性损失的有效性。
Abstract
This paper explores the connection between two recently identified phenomena in deep learning:
plasticity loss
and
neural collapse
. We analyze their
→