共同学习：不同神经网络是否学习相同表示？

Nov, 2015

共同学习：不同神经网络是否学习相同表示？

Convergent Learning: Do different neural networks learn the same representations?

Yixuan Li, Jason Yosinski, Jeff Clune, Hod Lipson, John Hopcroft

TL;DR本文研究了神经网络所谓的收敛学习现象，使用多种技术对神经网络进行了实验，发现了一些神经网络的未知属性，包括神经网络中某些特征通常会被成功学习，而其他特征则没有被可靠地学习，单元学习低维子空间，而这些子空间是多个网络共有的，但学习的基向量不一致，表示代码表现出局部代码和略微分布式代码的混合特征。

Abstract

Recent success in training deep neural networks have prompted active investigation into the features learned on their intermediate layers. Such research is difficult because it requires making sense of non-linear computations performed by millions of learned parameters, but valuable because it increases our ability to understand current models and training a

发现论文，激发创造

使用规范相关方法揭示神经网络中的表示相似性见解

作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。

Jun, 2018

探索学习表示：不同神经网络学习相同表示的程度

本研究通过理论和算法对同一结构但训练自不同初始化的两个深度神经网络学习出的神经元激活子空间匹配进行研究，提出了最大匹配和简单匹配的核心概念，并发现了在子空间匹配方面，从不同初始化训练的网络中学习出的卷积层表示并不像普遍预期的那样相似。

Oct, 2018

深度学习的超参数化收敛理论

通过对大规模深层神经网络的优化方法的研究，我们证明了SGD可以在多项式时间内发现DNNs训练目标上的全局极小值。

Nov, 2018

深度学习理论原理

本文研究了深度神经网络并使用表示群流的概念及信息论技巧，分析了其非线性模型的学习机制和有效模型复杂性及超参数等参数的归纳偏置。

Jun, 2021

神经网络模型的相似性：功能和表征度量的调查

该论文综述了神经网络模型的两种相似性度量方法，即表示相似度和功能相似度，介绍了现有度量方法的详细描述，并总结和讨论了这些度量方法的特性和关系，并指出了开放的研究问题和为研究人员及从业者提供实用的建议。

May, 2023

点对点表征相似度

本文提出了一种Pointwise Normalized Kernel Alignment（PNKA）量化方法，用于分析个体输入在不同表征空间中的相似度，以更细粒度地理解深度神经网络的表征特征，并展示了PNKA在分析误分类输入示例、神经元概念编码和公平干预对表征特征的影响等方面的应用。

May, 2023

神经网络表示中的特权和收敛基础

通过研究神经网络所学到的表示是否具有特权和趋同基础，本研究旨在探究个别神经元所表示的特征方向的重要性。结果表明，与线性网络不同，神经表示的任意旋转无法被逆转，证明其不具备完全的旋转不变性。同时，通过比较具有相同参数但具有不同随机初始化的网络的基础，我们发现：（1）即使在WideResNets等宽网络中，神经网络也无法收敛到唯一的基础；（2）当网络的少数前几层被冻结时，基础之间的相关性显著增加。此外，我们对线性模态连通性进行了分析，这是衡量基础相关性的一种方式。我们的研究发现，虽然线性模态连通性随网络宽度的增加而改善，但这种改善并不是基础相关性增加所导致的。

Jul, 2023

当表示对齐时：在表示学习动态中的普适性

在复杂的大规模架构中，深度神经网络的表征学习动态可以用编解码映射为任意平滑函数的有效理论来描述，该理论能够概括多种不同激活函数和架构的深度网络的表征学习动态，并展现类似于“丰富”和“懒惰”区域的现象。

Feb, 2024

人工神经网络中的潜在通信

通过识别神经表示、潜在空间、潜在交流、相对表示和数据模态关键词，研究发现神经网络的潜在表示具有普适性和可重用性，可以在不同模型之间传递和转化，实现生成、分类和检索等任务，跨图像、文本、音频和图形等各种数据模态。

Jun, 2024

超表征：从神经网络群体中学习

本论文解决了通过神经网络的基本组成部分“权重”来理解神经网络的挑战，提出了一种自监督方法——超表征，旨在从神经网络模型群体中学习通用且与任务无关的表征。研究结果表明，经过训练的神经网络模型在权重空间中占据有意义的结构，这不仅揭示了模型的性能和训练状态，还推动了微调和迁移学习等应用，预示着神经网络开发及分析方式的根本性变革。

Oct, 2024