软匹配距离:一种捕捉单神经元调谐的神经表示度量
本研究通过理论和算法对同一结构但训练自不同初始化的两个深度神经网络学习出的神经元激活子空间匹配进行研究,提出了最大匹配和简单匹配的核心概念,并发现了在子空间匹配方面,从不同初始化训练的网络中学习出的卷积层表示并不像普遍预期的那样相似。
Oct, 2018
本文提出了一种更一般的框架来研究对称性对深度神经网络损失曲面中模式连通性的影响,该框架考虑了网络权重置换的影响,提出了称为神经元对齐的廉价启发式方法来近似最优置换,从而证明了该方法在模式连通性方面的实际效果优越。
Sep, 2020
本文提供了一个框架来验证神经网络的行为,通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法,研究发现当前的评估指标存在不同缺陷,一个经典的基线表现出人意料的好,作者对所有指标都无法胜任的场景进行了强调,并为未来的研究提供了挑战性的基础数据。
Aug, 2021
为了理解生物和人工神经网络的操作,研究者们需要一个标准化的工具集来量化其结构等因素对神经表征的影响,这篇论文提出了一族量化表征不同神经网络之间相似性的度量空间,利用这个框架使得神经网络表征可以整合进任意的机器学习方法中,然后利用大规模生物和深度学习数据集来验证这些方法,最终找出了神经表征之间与结构和性能之间的关系。
Oct, 2021
通过推广之前提出的形状度量方法,我们定量地比较了神经表示中的随机性差异,并发现神经生物学表示的随机几何形状分别类似于未经过训练和经过训练的深度网络表示。
Nov, 2022
该论文综述了神经网络模型的两种相似性度量方法,即表示相似度和功能相似度,介绍了现有度量方法的详细描述,并总结和讨论了这些度量方法的特性和关系,并指出了开放的研究问题和为研究人员及从业者提供实用的建议。
May, 2023
本文提出了一种Pointwise Normalized Kernel Alignment(PNKA)量化方法,用于分析个体输入在不同表征空间中的相似度,以更细粒度地理解深度神经网络的表征特征,并展示了PNKA在分析误分类输入示例、神经元概念编码和公平干预对表征特征的影响等方面的应用。
May, 2023
通过推导上、下界,分析了高维网络表示的几何相似性测量方法的统计效率和估计不确定性,提出了一种新的矩法估计器,在高维特征空间中优于标准估计器,为高维形状分析奠定了统计理论基础。
Oct, 2023