BriefGPT.xyz
May, 2019
神经网络表示的相似性再探讨
Similarity of Neural Network Representations Revisited
HTML
PDF
Simon Kornblith, Mohammad Norouzi, Honglak Lee, Geoffrey Hinton
TL;DR
本文介绍了基于规范相关分析(CCA)方法的神经网络表示比较方法,并提出了一种相似度指数来测量表示相似性矩阵之间的关系,该指数与中心核对齐(CKA)密切相关,但不受高维表示限制,具有可靠性。与CCA不同,CKA方法可在不同初始化的网络表示中可靠地识别对应关系。
Abstract
Recent work has sought to understand the behavior of
neural networks
by comparing
representations
between layers and between different
trained mo
→