作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。

Jun, 2018

本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与CCA不同，CKA方法可在不同初始化的网络表示中可靠地识别对应关系。

May, 2019

本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。

Aug, 2021

通过分析 Centered Kernel Alignment 算法对于在机器学习中出现的简单变化的敏感度，我们研究了该算法的若干弱点，并探索了在保持功能行为的前提下改变 CKA 值的方法，结果表明 CKA 值可以容易地被操纵而不需对模型做实质性的改变，因此在利用活动对齐度量时需谨慎。

Oct, 2022

研究了使用不同目标函数，基于卷积神经网络（如ResNets）训练偏重数据集的性能和内部表征结构，表明负对数似然（NLL）和softmax交叉熵（SCE）作为损失函数得到的ResNets表征同样能够在偏重数据上产生更好的性能和细致替代，并且在神经网络的各层之间具有渐进表征相似性，性能更有可能是稳健的。

Nov, 2022

神经网络表示之间的多种(不)相似性度量已被提出，大多数这些度量方法可以归为两类：第一类是学习显式映射以量化相似性的线性回归、规范相关分析和形状距离；第二类是量化相似性的总结统计信息的表示相似性分析、中心核对齐和归一化布雷凡斯相似性，本文通过观察发现从第一类到第二类中的Riemann形状距离的余弦值等于归一化布雷凡斯相似性，探索了这种联系如何导致对形状距离和归一化布雷凡斯相似性的新解释，并将这些度量方法与深度学习文献中一种流行的相似性度量方法中心核对齐进行对比。

Nov, 2023

使用CKA（Centered Kernel Alignment）理论有效地将大规模模型和轻量级模型之间的表达差异解耦为MMD（Maximum Mean Discrepancy）的上界和一个常数项，提出了一种新颖的RCKA（Relation-Centered Kernel Alignment）框架，根据任务特征动态定制CKA的应用，以较低的计算源消耗获得相比前期方法相当的性能，在CIFAR-100、ImageNet-1k和MS-COCO上的广泛实验表明，该方法在几乎所有的师生网络对中对于图像分类和目标检测都达到了最先进的性能。

Jan, 2024

通过线性回归、中心化核对齐（CKA）和角度普洛克斯特斯距离等方法，量化模型与大脑之间的相似性，分析非人类灵长类动物记录的神经活动，并优化合成数据集以增加与神经记录的相似性。不同相似性度量的限制性将使得一些度量如线性回归和CKA在无法线性解码任务相关变量时仍具有高相似性得分，而角度普洛克斯特斯则更早地捕捉到高方差维度。我们展示了在不同主成分受到扰动时这些得分如何改变，并最终通过联合优化多个相似性得分，发现它们的允许范围，并表明高角度普洛克斯特斯相似性得分，例如，意味着高CKA得分，但反之亦然。

Jul, 2024

本研究针对当前贝叶斯深度学习中网络比较的相似性度量缺乏置换不变性的问题，提出了一个新的优化目标CKA的超球面能量应用。通过这一新方法，显著提高了训练的稳定性，并在合成和实际异常检测任务中，明显优于传统基线方法的结果，提供了更优秀的不确定性量化。

Oct, 2024

本研究解决了神经响应如何有效传达信息的理解问题，尤其是通过构建回归模型或解码器来重建刺激特征。我们提出，许多流行的相似性度量可以从解码的角度来解释，特别是中心核对齐（CKA）和典型相关分析（CCA）能够量化最优线性解码器之间的对齐度。这一发现为神经系统相似性的衡量提供了新的思路，并对现有度量的理解提供了统一的解释。

Nov, 2024