神经网络表示的相似性再探讨
作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。
Jun, 2018
本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。
Aug, 2021
通过分析 Centered Kernel Alignment 算法对于在机器学习中出现的简单变化的敏感度，我们研究了该算法的若干弱点，并探索了在保持功能行为的前提下改变 CKA 值的方法，结果表明 CKA 值可以容易地被操纵而不需对模型做实质性的改变，因此在利用活动对齐度量时需谨慎。
Oct, 2022
该论文综述了神经网络模型的两种相似性度量方法，即表示相似度和功能相似度，介绍了现有度量方法的详细描述，并总结和讨论了这些度量方法的特性和关系，并指出了开放的研究问题和为研究人员及从业者提供实用的建议。
May, 2023
本文提出了一种Pointwise Normalized Kernel Alignment（PNKA）量化方法，用于分析个体输入在不同表征空间中的相似度，以更细粒度地理解深度神经网络的表征特征，并展示了PNKA在分析误分类输入示例、神经元概念编码和公平干预对表征特征的影响等方面的应用。
May, 2023
神经网络表示之间的多种(不)相似性度量已被提出，大多数这些度量方法可以归为两类：第一类是学习显式映射以量化相似性的线性回归、规范相关分析和形状距离；第二类是量化相似性的总结统计信息的表示相似性分析、中心核对齐和归一化布雷凡斯相似性，本文通过观察发现从第一类到第二类中的Riemann形状距离的余弦值等于归一化布雷凡斯相似性，探索了这种联系如何导致对形状距离和归一化布雷凡斯相似性的新解释，并将这些度量方法与深度学习文献中一种流行的相似性度量方法中心核对齐进行对比。
Nov, 2023
利用fMRI和MEG数据，本文揭示了如果在低数据高维度领域中使用偏向CKA作为对齐度量标准，则它们由于偏向CKA对不同特征-样本比率的敏感性而无法直接比较，结果将高度相似，甚至对于随机矩阵对。只有使用去偏CKA才能实现真正的刺激驱动响应的正向对齐，同时表明偏向CKA对神经数据的内在结构敏感。
May, 2024
我们研究了transformer模型中隐藏层之间的表示相似性，并展示了一个简单的样本级余弦相似度度量能够捕捉到这种相似性，并与复杂的统计方法CCA一致，通过提出对齐训练方法，我们增强了内部表示之间的相似性，并得到了具有多个隐藏层输出的模型，与标准训练相比，这些模型在中间层具有更高的准确性，并且当作为多出口模型时，它们能够与标准的多出口架构达到相当的性能，而我们的工作是首次证明一个普通分类器就足够用于多出口模型。
Jun, 2024
本研究解决了神经响应如何有效传达信息的理解问题，尤其是通过构建回归模型或解码器来重建刺激特征。我们提出，许多流行的相似性度量可以从解码的角度来解释，特别是中心核对齐（CKA）和典型相关分析（CCA）能够量化最优线性解码器之间的对齐度。这一发现为神经系统相似性的衡量提供了新的思路，并对现有度量的理解提供了统一的解释。
Nov, 2024