利用改进的 RV 相似性分析揭示卷积神经网络中任务和训练对中间表示的影响

Dec, 2019

利用改进的 RV 相似性分析揭示卷积神经网络中任务和训练对中间表示的影响

The effect of task and training on intermediate representations in convolutional neural networks revealed with modified RV similarity analysis

HTML

PDF

Jessica A. F. Thompson, Yoshua Bengio, Marc Schoenwiesner

TL;DR本文探讨了深度网络中激活 patterns 的相似性度量方法并在此基础之上使用 RV2 与不同训练方式下的网络进行了表示学习和相似性计算，并从中发现了盲目训练可能造成的负面影响以及不同训练方式之间的代表性差异。

Abstract

centered kernel alignment (CKA) was recently proposed as a similarity metric for comparing activation patterns in deep networks. Here we experiment with the modified RV-coefficient (rv2), which has very similar p

发现论文，激发创造

使用规范相关方法揭示神经网络中的表示相似性见解

作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。

Jun, 2018

探索学习表示：不同神经网络学习相同表示的程度

本研究通过理论和算法对同一结构但训练自不同初始化的两个深度神经网络学习出的神经元激活子空间匹配进行研究，提出了最大匹配和简单匹配的核心概念，并发现了在子空间匹配方面，从不同初始化训练的网络中学习出的卷积层表示并不像普遍预期的那样相似。

Oct, 2018

神经网络表示的相似性再探讨

本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与CCA不同，CKA方法可在不同初始化的网络表示中可靠地识别对应关系。

May, 2019

利用统计检验来建立表示相似性

本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。

Aug, 2021

神经网络表示的相似性和匹配

本文通过利用Dr. Frankenstein工具集来分析深度神经网络的相似性，尝试匹配由两个已经训练好的模型中给定层的激活，通过使用一个拼接层将它们合并起来。我们证明了即使只有一个单一的仿射拼接层，具有相同结构但不同初始化的卷积神经网络中出现的内部表示仍然可以以令人惊讶的高精度进行匹配，同时我们也从任务的角度提供了关于神经网络相似性指数的新视角。

Oct, 2021

深度学习中CKA作为相似度度量的可靠性

通过分析 Centered Kernel Alignment 算法对于在机器学习中出现的简单变化的敏感度，我们研究了该算法的若干弱点，并探索了在保持功能行为的前提下改变 CKA 值的方法，结果表明 CKA 值可以容易地被操纵而不需对模型做实质性的改变，因此在利用活动对齐度量时需谨慎。

Oct, 2022

神经网络模型的相似性：功能和表征度量的调查

该论文综述了神经网络模型的两种相似性度量方法，即表示相似度和功能相似度，介绍了现有度量方法的详细描述，并总结和讨论了这些度量方法的特性和关系，并指出了开放的研究问题和为研究人员及从业者提供实用的建议。

May, 2023

点对点表征相似度

本文提出了一种Pointwise Normalized Kernel Alignment（PNKA）量化方法，用于分析个体输入在不同表征空间中的相似度，以更细粒度地理解深度神经网络的表征特征，并展示了PNKA在分析误分类输入示例、神经元概念编码和公平干预对表征特征的影响等方面的应用。

May, 2023

完美拟合对表示学习的影响：深度神经网络中的表示训练动态

通过揭示深度神经网络（DNNs）在训练过程中的演变，本文重点关注在过度参数化学习环境下，训练持续进行的情况，探讨了学习表示的演变以及层级之间的相似性和线性分类器探针的相似度等指标，并发现了与相对层级深度、DNN宽度和架构有关的训练动态模式。同时，对Vision Transformer进行了研究，展示了完美拟合阈值在编码器块中表示演变方面的转变。

May, 2024

关于逐层表示相似性的研究：用于具有单个分类器的多出口模型的应用

我们研究了transformer模型中隐藏层之间的表示相似性，并展示了一个简单的样本级余弦相似度度量能够捕捉到这种相似性，并与复杂的统计方法CCA一致，通过提出对齐训练方法，我们增强了内部表示之间的相似性，并得到了具有多个隐藏层输出的模型，与标准训练相比，这些模型在中间层具有更高的准确性，并且当作为多出口模型时，它们能够与标准的多出口架构达到相当的性能，而我们的工作是首次证明一个普通分类器就足够用于多出口模型。

Jun, 2024