神经网络表示的相似性再探讨

ICMLMay, 2019

Similarity of Neural Network Representations Revisited

Simon Kornblith, Mohammad Norouzi, Honglak Lee, Geoffrey Hinton

TL;DR本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与 CCA 不同，CKA 方法可在不同初始化的网络表示中可靠地识别对应关系。

Abstract

Recent work has sought to understand the behavior of neural networks by comparing representations between layers and between different trained mo

neural networks representations canonical correlation analysis similarity index trained models

发现论文，激发创造

使用规范相关方法揭示神经网络中的表示相似性见解

作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN 随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。

Jun, 2018

利用统计检验来建立表示相似性

本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。

Aug, 2021

深度学习中 CKA 作为相似度度量的可靠性

通过分析 Centered Kernel Alignment 算法对于在机器学习中出现的简单变化的敏感度，我们研究了该算法的若干弱点，并探索了在保持功能行为的前提下改变 CKA 值的方法，结果表明 CKA 值可以容易地被操纵而不需对模型做实质性的改变，因此在利用活动对齐度量时需谨慎。

Oct, 2022

非参数标准相关分析

本研究采用特征值分解解决非参数正相关分析问题，通过数据估计种群密度，降低计算负担，提高非参数 CCA 的性能，同时提出了部分线性 CCA 算法用于处理单个视图的线性投影问题。

Nov, 2015

多语言表示的跨语言相似性再探讨

该论文使用 Average Neuron-Wise Correlation (ANC) 作为跨语言上下文中跨语言表示相似度的替代指标，并提供了实证研究证明了先对齐再预测的跨语言学习问提存在于多语言模型中。

Dec, 2022

大规模近似核规范相关分析

本论文提出了一种基于随机优化算法的近似核正则化典型相关分析方法，具有在处理大规模数据集时计算效率高的特点，该方法应用于语音数据集处理中，包含 $1.4$ 百万的训练样本，以及维度 $M=100000$ 的随机特征空间.

Nov, 2015

修正生物和人工神经网络中偏差的中心核对齐度测量

利用 fMRI 和 MEG 数据，本文揭示了如果在低数据高维度领域中使用偏向 CKA 作为对齐度量标准，则它们由于偏向 CKA 对不同特征 - 样本比率的敏感性而无法直接比较，结果将高度相似，甚至对于随机矩阵对。只有使用去偏 CKA 才能实现真正的刺激驱动响应的正向对齐，同时表明偏向 CKA 对神经数据的内在结构敏感。

May, 2024

点对点表征相似度

本文提出了一种 Pointwise Normalized Kernel Alignment（PNKA）量化方法，用于分析个体输入在不同表征空间中的相似度，以更细粒度地理解深度神经网络的表征特征，并展示了 PNKA 在分析误分类输入示例、神经元概念编码和公平干预对表征特征的影响等方面的应用。

May, 2023

关于逐层表示相似性的研究：用于具有单个分类器的多出口模型的应用

我们研究了 transformer 模型中隐藏层之间的表示相似性，并展示了一个简单的样本级余弦相似度度量能够捕捉到这种相似性，并与复杂的统计方法 CCA 一致，通过提出对齐训练方法，我们增强了内部表示之间的相似性，并得到了具有多个隐藏层输出的模型，与标准训练相比，这些模型在中间层具有更高的准确性，并且当作为多出口模型时，它们能够与标准的多出口架构达到相当的性能，而我们的工作是首次证明一个普通分类器就足够用于多出口模型。

Jun, 2024

深度广义典型相关分析再探

探索多个观测随机向量之间的潜在共变性的经典统计方法 —— 典型相关分析 (CCA) 以及其扩展和变化在发现多视图数据集中的共同随机因素方面的能力。该研究设计了一种新颖高效的模型，适用于典型相关分析的深度扩展，并克服了现有方法的局限性，将私有组件建模为在给定共同组件的条件下条件独立，从而提供了一种更紧凑的表述形式。通过合成数据和实际数据的实验验证了我们的结论和方法的有效性。

Dec, 2023