Nov, 2023

布雷斯距离和形状距离的偶性及其在比较神经表示中的应用

HTML
PDF
TL;DR神经网络表示之间的多种(不)相似性度量已被提出，大多数这些度量方法可以归为两类：第一类是学习显式映射以量化相似性的线性回归、规范相关分析和形状距离；第二类是量化相似性的总结统计信息的表示相似性分析、中心核对齐和归一化布雷凡斯相似性，本文通过观察发现从第一类到第二类中的Riemann形状距离的余弦值等于归一化布雷凡斯相似性，探索了这种联系如何导致对形状距离和归一化布雷凡斯相似性的新解释，并将这些度量方法与深度学习文献中一种流行的相似性度量方法中心核对齐进行对比。
发现论文，激发创造
  • 使用规范相关方法揭示神经网络中的表示相似性见解

    作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。

    Jun, 2018

  • 神经网络表示的相似性再探讨

    本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与CCA不同，CKA方法可在不同初始化的网络表示中可靠地识别对应关系。

    May, 2019

  • 利用统计检验来建立表示相似性

    本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。

    Aug, 2021

  • 神经表征的广义形状度量

    为了理解生物和人工神经网络的操作，研究者们需要一个标准化的工具集来量化其结构等因素对神经表征的影响，这篇论文提出了一族量化表征不同神经网络之间相似性的度量空间，利用这个框架使得神经网络表征可以整合进任意的机器学习方法中，然后利用大规模生物和深度学习数据集来验证这些方法，最终找出了神经表征之间与结构和性能之间的关系。

    Oct, 2021

  • 深度学习中CKA作为相似度度量的可靠性

    通过分析 Centered Kernel Alignment 算法对于在机器学习中出现的简单变化的敏感度，我们研究了该算法的若干弱点，并探索了在保持功能行为的前提下改变 CKA 值的方法，结果表明 CKA 值可以容易地被操纵而不需对模型做实质性的改变，因此在利用活动对齐度量时需谨慎。

    Oct, 2022

  • 随机神经网络的表征差异度量空间

    通过推广之前提出的形状度量方法，我们定量地比较了神经表示中的随机性差异，并发现神经生物学表示的随机几何形状分别类似于未经过训练和经过训练的深度网络表示。

    Nov, 2022

  • 点对点表征相似度

    本文提出了一种Pointwise Normalized Kernel Alignment（PNKA）量化方法，用于分析个体输入在不同表征空间中的相似度，以更细粒度地理解深度神经网络的表征特征，并展示了PNKA在分析误分类输入示例、神经元概念编码和公平干预对表征特征的影响等方面的应用。

    May, 2023

  • 利用有限样本在神经表示上估计形状距离

    通过推导上、下界，分析了高维网络表示的几何相似性测量方法的统计效率和估计不确定性，提出了一种新的矩法估计器，在高维特征空间中优于标准估计器，为高维形状分析奠定了统计理论基础。

    Oct, 2023

  • 软匹配距离：一种捕捉单神经元调谐的神经表示度量

    提出了一种基于“软”置换的度量方式，用于衡量具有不同大小的神经网络之间的距离，并避免了其他方式所遭受的违反直觉的结果，从而提供了对神经表示的补充几何洞见。

    Nov, 2023

  • 可解码信息的表示相似性度量的意义

    本研究解决了神经响应如何有效传达信息的理解问题，尤其是通过构建回归模型或解码器来重建刺激特征。我们提出，许多流行的相似性度量可以从解码的角度来解释，特别是中心核对齐（CKA）和典型相关分析（CCA）能够量化最优线性解码器之间的对齐度。这一发现为神经系统相似性的衡量提供了新的思路，并对现有度量的理解提供了统一的解释。

    Nov, 2024