作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。

Jun, 2018

本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与CCA不同，CKA方法可在不同初始化的网络表示中可靠地识别对应关系。

May, 2019

本文探讨了深度网络中激活 patterns 的相似性度量方法并在此基础之上使用 RV2 与不同训练方式下的网络进行了表示学习和相似性计算，并从中发现了盲目训练可能造成的负面影响以及不同训练方式之间的代表性差异。

Dec, 2019

通过分析 Centered Kernel Alignment 算法对于在机器学习中出现的简单变化的敏感度，我们研究了该算法的若干弱点，并探索了在保持功能行为的前提下改变 CKA 值的方法，结果表明 CKA 值可以容易地被操纵而不需对模型做实质性的改变，因此在利用活动对齐度量时需谨慎。

Oct, 2022

该论文综述了神经网络模型的两种相似性度量方法，即表示相似度和功能相似度，介绍了现有度量方法的详细描述，并总结和讨论了这些度量方法的特性和关系，并指出了开放的研究问题和为研究人员及从业者提供实用的建议。

May, 2023

本文提出了一种Pointwise Normalized Kernel Alignment（PNKA）量化方法，用于分析个体输入在不同表征空间中的相似度，以更细粒度地理解深度神经网络的表征特征，并展示了PNKA在分析误分类输入示例、神经元概念编码和公平干预对表征特征的影响等方面的应用。

May, 2023

我们的工作中，我们探讨了Sharpened Cosine Similarity（SCS）参数的行为和潜力，并且研究了在多个卷积神经网络结构中用SCS替换卷积的效果。我们发现，虽然SCS可能不会显著提高准确性，但可能会学习到更易解释的表征。我们还发现，在某些情况下，SCS可能会略微提高对抗性的稳定性。

Jul, 2023

通过研究深度线性网络的中间特征，本文量化揭示了特征在层级表示中的演化规律，证明线性网络的每一层以几何速率压缩类内特征，与通过数据的层数线性关系的方式区分类间特征，这不仅在深度非线性网络中得到验证，而且在迁移学习中具有实际应用意义。

Nov, 2023

通过揭示深度神经网络（DNNs）在训练过程中的演变，本文重点关注在过度参数化学习环境下，训练持续进行的情况，探讨了学习表示的演变以及层级之间的相似性和线性分类器探针的相似度等指标，并发现了与相对层级深度、DNN宽度和架构有关的训练动态模式。同时，对Vision Transformer进行了研究，展示了完美拟合阈值在编码器块中表示演变方面的转变。

May, 2024

本研究解决了在边缘计算中受限于内存的深度神经网络（DNN）共享层的问题，现有方法需要昂贵的云端再训练并依赖真实标签。提出的通过表示相似性指导的模型合并方案，不仅可以在边缘设备上实现层共享，还有效指示了合并模型的准确性，且无需真实标签。研究结果表明，表示相似性与合并模型的准确性之间具有极高的相关性，展现出广阔的研究前景。

Oct, 2024