Dec, 2019

利用改进的 RV 相似性分析揭示卷积神经网络中任务和训练对中间表示的影响

PDF
TL;DR本文探讨了深度网络中激活 patterns 的相似性度量方法并在此基础之上使用 RV2 与不同训练方式下的网络进行了表示学习和相似性计算，并从中发现了盲目训练可能造成的负面影响以及不同训练方式之间的代表性差异。
centered kernel alignmentrv2freeze trainingrepresentation learningdeep neural networks
发现论文，激发创造
  • 神经网络表示的相似性再探讨

    本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与 CCA 不同，CKA 方法可在不同初始化的网络表示中可靠地识别对应关系。

    May, 2019

  • 深度学习中 CKA 作为相似度度量的可靠性

    通过分析 Centered Kernel Alignment 算法对于在机器学习中出现的简单变化的敏感度，我们研究了该算法的若干弱点，并探索了在保持功能行为的前提下改变 CKA 值的方法，结果表明 CKA 值可以容易地被操纵而不需对模型做实质性的改变，因此在利用活动对齐度量时需谨慎。

    Oct, 2022

  • 利用统计检验来建立表示相似性

    本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。

    Aug, 2021

  • 大规模天文调查中的样本外泛化：健壮网络学习相似表示

    机器学习模型在处理来自未来天文调查的离域样本时依然面临挑战，解释性方法通过使用相似性度量来检查预训练卷积神经网络在中心核对齐方面的性能与表示相似性之间的关系，发现当模型对分布变化具有稳健性时，在离域数据上，图像在网络层之间的表示会有较大变化；然而，当模型无法泛化时，在离域数据上，这些表示在网络层之间的变化较小。讨论了这种相似性表示在模型设计、训练策略以及通过在训练过程中加入中心核对齐作为归纳偏差来缓解离域问题方面的潜在应用。

    Nov, 2023

  • 使用规范相关方法揭示神经网络中的表示相似性见解

    作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN 随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。

    Jun, 2018

  • 神经网络中的偏见解释：探究表征相似性

    研究了使用不同目标函数，基于卷积神经网络（如 ResNets）训练偏重数据集的性能和内部表征结构，表明负对数似然（NLL）和 softmax 交叉熵（SCE）作为损失函数得到的 ResNets 表征同样能够在偏重数据上产生更好的性能和细致替代，并且在神经网络的各层之间具有渐进表征相似性，性能更有可能是稳健的。

    Nov, 2022

  • 用于高效任务分类和迁移学习的表示相似性分析

    本文提出通过使用 RSA 方法评估不同任务和其特定模型之间的关系来实现任务分类，进而用少量图像和预训练模型来展示此方法在生成 Taskonomy 数据集的任务分类方面的有效性和效率，并展示了在与 Pascal VOC 语义分割等任务中转移学习表现上 RSA 的关系，结果表明在相似性得分较高的任务上训练的模型具有更好的迁移学习表现。

    Apr, 2019

  • 深度卷积表达的群不变性、形变稳定性和复杂性

    本文研究了深度卷积体系结构的多尺度不变表示问题，提出了基于卷积核网络的多层核方法，分析了核映射引起的几何学效应，表明可以将数据表示与学习分离，提出了模型复杂度的规范化测量，即控制所学模型的稳定性和泛化能力的重复核希尔伯特空间规范，证明了已有卷积神经网络能够映射到该空间中。

    Jun, 2017

  • 完美拟合对表示学习的影响：深度神经网络中的表示训练动态

    通过揭示深度神经网络（DNNs）在训练过程中的演变，本文重点关注在过度参数化学习环境下，训练持续进行的情况，探讨了学习表示的演变以及层级之间的相似性和线性分类器探针的相似度等指标，并发现了与相对层级深度、DNN 宽度和架构有关的训练动态模式。同时，对 Vision Transformer 进行了研究，展示了完美拟合阈值在编码器块中表示演变方面的转变。

    May, 2024

  • 修正生物和人工神经网络中偏差的中心核对齐度测量

    利用 fMRI 和 MEG 数据，本文揭示了如果在低数据高维度领域中使用偏向 CKA 作为对齐度量标准，则它们由于偏向 CKA 对不同特征 - 样本比率的敏感性而无法直接比较，结果将高度相似，甚至对于随机矩阵对。只有使用去偏 CKA 才能实现真正的刺激驱动响应的正向对齐，同时表明偏向 CKA 对神经数据的内在结构敏感。

    May, 2024