Jul, 2024

不同神经网络架构中拓扑结构的表征

TL;DR本研究利用TDA方法分析神经网络的表示,并发现不同架构的表示存在巨大差异和一些相似之处;相似结构的模型具有类似的表示拓扑,而层数较多的模型则更平滑地改变拓扑;此外,预训练和微调模型的拓扑在中间和最后层开始呈现差异,而在初始层保持相似。这些发现证明了TDA方法在分析神经网络行为方面的有效性。