Nov, 2023

布雷斯距离和形状距离的偶性及其在比较神经表示中的应用

PDF
TL;DR神经网络表示之间的多种 (不) 相似性度量已被提出，大多数这些度量方法可以归为两类：第一类是学习显式映射以量化相似性的线性回归、规范相关分析和形状距离；第二类是量化相似性的总结统计信息的表示相似性分析、中心核对齐和归一化布雷凡斯相似性，本文通过观察发现从第一类到第二类中的 Riemann 形状距离的余弦值等于归一化布雷凡斯相似性，探索了这种联系如何导致对形状距离和归一化布雷凡斯相似性的新解释，并将这些度量方法与深度学习文献中一种流行的相似性度量方法中心核对齐进行对比。
发现论文，激发创造
  • 神经网络表示的相似性再探讨

    本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与 CCA 不同，CKA 方法可在不同初始化的网络表示中可靠地识别对应关系。

    May, 2019

  • 神经表征的广义形状度量

    为了理解生物和人工神经网络的操作，研究者们需要一个标准化的工具集来量化其结构等因素对神经表征的影响，这篇论文提出了一族量化表征不同神经网络之间相似性的度量空间，利用这个框架使得神经网络表征可以整合进任意的机器学习方法中，然后利用大规模生物和深度学习数据集来验证这些方法，最终找出了神经表征之间与结构和性能之间的关系。

    Oct, 2021

  • 随机神经网络的表征差异度量空间

    通过推广之前提出的形状度量方法，我们定量地比较了神经表示中的随机性差异，并发现神经生物学表示的随机几何形状分别类似于未经过训练和经过训练的深度网络表示。

    Nov, 2022

  • 利用统计检验来建立表示相似性

    本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。

    Aug, 2021

  • 利用有限样本在神经表示上估计形状距离

    通过推导上、下界，分析了高维网络表示的几何相似性测量方法的统计效率和估计不确定性，提出了一种新的矩法估计器，在高维特征空间中优于标准估计器，为高维形状分析奠定了统计理论基础。

    Oct, 2023

  • 神经表征的拓扑和几何

    探索了拓扑脑表示相似性分析（tRSA），一种推广了脑表示相似性分析（RSA）的几何与拓扑摘要统计的家族，该方法可用于表征脑表示的拓扑特征并在噪音和个体变异性方面具有鲁棒性，在模拟和功能性磁共振成像（fMRI）数据上进行了评估。

    Sep, 2023

  • 变形器语言模型中的流浪维度掩盖了表征质量

    通过标准化技术等方法探讨相似度测量在 BERT 和 GPT-2 等上下文鉴别模型中的代表性和准确性。我们发现一些不代表整体性质的维度会干扰这些测量，并且这些测量值并不一定代表模型的真实行为。因此，我们认为分析这些模型中基于相似性的操作需要解决这些问题。

    Sep, 2021

  • 语言的神经和符号表示的相关性

    本文介绍了它们称为 RSA 和 TK 的两种基于表示相似性分析和树核的分析方法，这些方法可以直接量化神经激活模式编码的信息与句法树等符号结构所表示信息的相对强度，验证了这些方法对于具有明确定义语法和语义的简单合成语言的情况，然后将这些方法应用于将英语句子的神经表示与其从属树相关联。

    May, 2019

  • 深度学习中 CKA 作为相似度度量的可靠性

    通过分析 Centered Kernel Alignment 算法对于在机器学习中出现的简单变化的敏感度，我们研究了该算法的若干弱点，并探索了在保持功能行为的前提下改变 CKA 值的方法，结果表明 CKA 值可以容易地被操纵而不需对模型做实质性的改变，因此在利用活动对齐度量时需谨慎。

    Oct, 2022

  • 点对点表征相似度

    本文提出了一种 Pointwise Normalized Kernel Alignment（PNKA）量化方法，用于分析个体输入在不同表征空间中的相似度，以更细粒度地理解深度神经网络的表征特征，并展示了 PNKA 在分析误分类输入示例、神经元概念编码和公平干预对表征特征的影响等方面的应用。

    May, 2023