神经表征的广义形状度量

Oct, 2021

Generalized Shape Metrics on Neural Representations

Alex H. Williams, Erin Kunz, Simon Kornblith, Scott W. Linderman

TL;DR为了理解生物和人工神经网络的操作，研究者们需要一个标准化的工具集来量化其结构等因素对神经表征的影响，这篇论文提出了一族量化表征不同神经网络之间相似性的度量空间，利用这个框架使得神经网络表征可以整合进任意的机器学习方法中，然后利用大规模生物和深度学习数据集来验证这些方法，最终找出了神经表征之间与结构和性能之间的关系。

Abstract

Understanding the operation of biological and artificial networks remains a difficult and important challenge. To identify general principles, researchers are increasingly interested in surveying large collections of ne

networks covariates metric spaces representational dissimilarity machine learning

发现论文，激发创造

随机神经网络的表征差异度量空间

通过推广之前提出的形状度量方法，我们定量地比较了神经表示中的随机性差异，并发现神经生物学表示的随机几何形状分别类似于未经过训练和经过训练的深度网络表示。

Nov, 2022

利用统计检验来建立表示相似性

本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。

Aug, 2021

神经表征的拓扑和几何

探索了拓扑脑表示相似性分析（tRSA），一种推广了脑表示相似性分析（RSA）的几何与拓扑摘要统计的家族，该方法可用于表征脑表示的拓扑特征并在噪音和个体变异性方面具有鲁棒性，在模拟和功能性磁共振成像（fMRI）数据上进行了评估。

Sep, 2023

利用有限样本在神经表示上估计形状距离

通过推导上、下界，分析了高维网络表示的几何相似性测量方法的统计效率和估计不确定性，提出了一种新的矩法估计器，在高维特征空间中优于标准估计器，为高维形状分析奠定了统计理论基础。

Oct, 2023

神经网络作为表示空间中的路径

深度神经网络的层次计算可以看作是在高维表示空间上的一条路径，通过度量相似性等工具可以理解和解释神经网络的训练过程，并发现不同模型之间的相似之处。

Jun, 2022

使用规范相关方法揭示神经网络中的表示相似性见解

作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN 随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。

Jun, 2018

软匹配距离：一种捕捉单神经元调谐的神经表示度量

提出了一种基于 “软” 置换的度量方式，用于衡量具有不同大小的神经网络之间的距离，并避免了其他方式所遭受的违反直觉的结果，从而提供了对神经表示的补充几何洞见。

Nov, 2023

神经网络表示的相似性再探讨

本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与 CCA 不同，CKA 方法可在不同初始化的网络表示中可靠地识别对应关系。

May, 2019

神经网络模型的相似性：功能和表征度量的调查

该论文综述了神经网络模型的两种相似性度量方法，即表示相似度和功能相似度，介绍了现有度量方法的详细描述，并总结和讨论了这些度量方法的特性和关系，并指出了开放的研究问题和为研究人员及从业者提供实用的建议。

May, 2023

距离感知归纳偏好：符合三角不等式的神经网络

本研究介绍了保证满足三角不等式的新型深度度量学习架构，能够更好地对图距离进行建模，并在多目标强化学习中具有更好的约束条件。

Feb, 2020