深度学习中CKA作为相似度度量的可靠性
作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。
Jun, 2018
本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与CCA不同，CKA方法可在不同初始化的网络表示中可靠地识别对应关系。
May, 2019
本文探讨了深度网络中激活 patterns 的相似性度量方法并在此基础之上使用 RV2 与不同训练方式下的网络进行了表示学习和相似性计算，并从中发现了盲目训练可能造成的负面影响以及不同训练方式之间的代表性差异。
Dec, 2019
本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。
Aug, 2021
本文提出了一种Pointwise Normalized Kernel Alignment（PNKA）量化方法，用于分析个体输入在不同表征空间中的相似度，以更细粒度地理解深度神经网络的表征特征，并展示了PNKA在分析误分类输入示例、神经元概念编码和公平干预对表征特征的影响等方面的应用。
May, 2023
神经网络表示之间的多种(不)相似性度量已被提出，大多数这些度量方法可以归为两类：第一类是学习显式映射以量化相似性的线性回归、规范相关分析和形状距离；第二类是量化相似性的总结统计信息的表示相似性分析、中心核对齐和归一化布雷凡斯相似性，本文通过观察发现从第一类到第二类中的Riemann形状距离的余弦值等于归一化布雷凡斯相似性，探索了这种联系如何导致对形状距离和归一化布雷凡斯相似性的新解释，并将这些度量方法与深度学习文献中一种流行的相似性度量方法中心核对齐进行对比。
Nov, 2023
使用CKA（Centered Kernel Alignment）理论有效地将大规模模型和轻量级模型之间的表达差异解耦为MMD（Maximum Mean Discrepancy）的上界和一个常数项，提出了一种新颖的RCKA（Relation-Centered Kernel Alignment）框架，根据任务特征动态定制CKA的应用，以较低的计算源消耗获得相比前期方法相当的性能，在CIFAR-100、ImageNet-1k和MS-COCO上的广泛实验表明，该方法在几乎所有的师生网络对中对于图像分类和目标检测都达到了最先进的性能。
Jan, 2024
利用fMRI和MEG数据，本文揭示了如果在低数据高维度领域中使用偏向CKA作为对齐度量标准，则它们由于偏向CKA对不同特征-样本比率的敏感性而无法直接比较，结果将高度相似，甚至对于随机矩阵对。只有使用去偏CKA才能实现真正的刺激驱动响应的正向对齐，同时表明偏向CKA对神经数据的内在结构敏感。
May, 2024
我们研究了transformer模型中隐藏层之间的表示相似性，并展示了一个简单的样本级余弦相似度度量能够捕捉到这种相似性，并与复杂的统计方法CCA一致，通过提出对齐训练方法，我们增强了内部表示之间的相似性，并得到了具有多个隐藏层输出的模型，与标准训练相比，这些模型在中间层具有更高的准确性，并且当作为多出口模型时，它们能够与标准的多出口架构达到相当的性能，而我们的工作是首次证明一个普通分类器就足够用于多出口模型。
Jun, 2024
本研究针对当前贝叶斯深度学习中网络比较的相似性度量缺乏置换不变性的问题，提出了一个新的优化目标CKA的超球面能量应用。通过这一新方法，显著提高了训练的稳定性，并在合成和实际异常检测任务中，明显优于传统基线方法的结果，提供了更优秀的不确定性量化。
Oct, 2024