Oct, 2018

探索学习表示：不同神经网络学习相同表示的程度

HTML
PDF
TL;DR本研究通过理论和算法对同一结构但训练自不同初始化的两个深度神经网络学习出的神经元激活子空间匹配进行研究，提出了最大匹配和简单匹配的核心概念，并发现了在子空间匹配方面，从不同初始化训练的网络中学习出的卷积层表示并不像普遍预期的那样相似。
发现论文，激发创造
  • 共同学习：不同神经网络是否学习相同表示？

    本文研究了神经网络所谓的收敛学习现象，使用多种技术对神经网络进行了实验，发现了一些神经网络的未知属性，包括神经网络中某些特征通常会被成功学习，而其他特征则没有被可靠地学习，单元学习低维子空间，而这些子空间是多个网络共有的，但学习的基向量不一致，表示代码表现出局部代码和略微分布式代码的混合特征。

    Nov, 2015

  • 神经网络的内部结构: 基于功能神经元群和网络消融的学习表示特征表征

    本文研究神经网络的透明度缺乏问题，通过对激活模式和网络消融的表征，揭示了在完成学习任务时单个神经元和神经元群体的作用，强调了为未来的转移学习和现代神经科学发展提供必需指标的重要性。

    Apr, 2020

  • 梯度作为深度表示学习中的特征

    本文提出基于梯度的特征及使用线性模型将梯度与预训练网络的激活函数相结合用于深度表示学习，从而实现预训练网络对不同任务的高效适应，通过实验验证了该算法在不同网络结构下，在多个数据集的各种表征学习任务上获得了强大的结果并与理论分析相符。

    Apr, 2020

  • 利用统计检验来建立表示相似性

    本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。

    Aug, 2021

  • 神经网络表示的相似性和匹配

    本文通过利用Dr. Frankenstein工具集来分析深度神经网络的相似性，尝试匹配由两个已经训练好的模型中给定层的激活，通过使用一个拼接层将它们合并起来。我们证明了即使只有一个单一的仿射拼接层，具有相同结构但不同初始化的卷积神经网络中出现的内部表示仍然可以以令人惊讶的高精度进行匹配，同时我们也从任务的角度提供了关于神经网络相似性指数的新视角。

    Oct, 2021

  • 神经网络模型的相似性：功能和表征度量的调查

    该论文综述了神经网络模型的两种相似性度量方法，即表示相似度和功能相似度，介绍了现有度量方法的详细描述，并总结和讨论了这些度量方法的特性和关系，并指出了开放的研究问题和为研究人员及从业者提供实用的建议。

    May, 2023

  • 点对点表征相似度

    本文提出了一种Pointwise Normalized Kernel Alignment（PNKA）量化方法，用于分析个体输入在不同表征空间中的相似度，以更细粒度地理解深度神经网络的表征特征，并展示了PNKA在分析误分类输入示例、神经元概念编码和公平干预对表征特征的影响等方面的应用。

    May, 2023

  • 当表示对齐时：在表示学习动态中的普适性

    在复杂的大规模架构中，深度神经网络的表征学习动态可以用编解码映射为任意平滑函数的有效理论来描述，该理论能够概括多种不同激活函数和架构的深度网络的表征学习动态，并展现类似于“丰富”和“懒惰”区域的现象。

    Feb, 2024

  • 完美拟合对表示学习的影响：深度神经网络中的表示训练动态

    通过揭示深度神经网络（DNNs）在训练过程中的演变，本文重点关注在过度参数化学习环境下，训练持续进行的情况，探讨了学习表示的演变以及层级之间的相似性和线性分类器探针的相似度等指标，并发现了与相对层级深度、DNN宽度和架构有关的训练动态模式。同时，对Vision Transformer进行了研究，展示了完美拟合阈值在编码器块中表示演变方面的转变。

    May, 2024

  • 超表征：从神经网络群体中学习

    本论文解决了通过神经网络的基本组成部分“权重”来理解神经网络的挑战，提出了一种自监督方法——超表征，旨在从神经网络模型群体中学习通用且与任务无关的表征。研究结果表明，经过训练的神经网络模型在权重空间中占据有意义的结构，这不仅揭示了模型的性能和训练状态，还推动了微调和迁移学习等应用，预示着神经网络开发及分析方式的根本性变革。

    Oct, 2024