本文研究了神经网络所谓的收敛学习现象，使用多种技术对神经网络进行了实验，发现了一些神经网络的未知属性，包括神经网络中某些特征通常会被成功学习，而其他特征则没有被可靠地学习，单元学习低维子空间，而这些子空间是多个网络共有的，但学习的基向量不一致，表示代码表现出局部代码和略微分布式代码的混合特征。

Nov, 2015

在复杂的大规模架构中，深度神经网络的表征学习动态可以用编解码映射为任意平滑函数的有效理论来描述，该理论能够概括多种不同激活函数和架构的深度网络的表征学习动态，并展现类似于 “丰富” 和 “懒惰” 区域的现象。

Feb, 2024

本文研究了神经网络架构在相同数据集上的不同训练结果之间的相关性，并使用共享响应模型证明了不同的神经网络以不同的正交变换方式编码数据的同一基础共享表示，通过 CNNs 在 CIFAR10 和 CIFAR100 上进行了实验。

Nov, 2018

深度神经网络的层次计算可以看作是在高维表示空间上的一条路径，通过度量相似性等工具可以理解和解释神经网络的训练过程，并发现不同模型之间的相似之处。

Jun, 2022

确定人类和人工智能之间的相似性和差异是机器学习和认知神经科学的重要目标。通过借鉴认知科学的最新发展，我们提出了一个通用框架，可在人类和深度神经网络 (DNN) 中产生可比较的表示。将此框架应用于人类和自然图像的 DNN 模型，揭示了一个低维度的 DNN 嵌入，包括视觉和语义维度。与人类不同，DNN 显示出视觉特征明显优于语义特征的优势，表明表示图像的策略存在分歧。尽管在硅中的实验显示 DNN 维度具有似乎一致的可解释性，但人类和 DNN 表示之间的直接比较表明它们在处理图像时存在重大差异。通过使表示直接可比较，我们的结果揭示了表示对齐的重要挑战，为提高它们的可比性提供了一种方法。

Jun, 2024

该论文综述了神经网络模型的两种相似性度量方法，即表示相似度和功能相似度，介绍了现有度量方法的详细描述，并总结和讨论了这些度量方法的特性和关系，并指出了开放的研究问题和为研究人员及从业者提供实用的建议。

May, 2023

本篇研究通过探究深度和宽度对模型隐藏表示的影响，发现一个特征块结构，这个结构是相对于训练集大小而言容量较大（更宽 / 更深）的模型中隐藏表示的一种保留和传播主要成分的方式。该发现对不同模型学习的特征有重要影响，其代表性的块结构对于每个模型来说是独一无二的。最后，我们分析了不同模型体系结构的输出预测，发现即使整体准确率相似，宽而深的模型也表现出不同类别之间鲜明的错误模式和差异。

Oct, 2020

本文通过利用 Dr. Frankenstein 工具集来分析深度神经网络的相似性，尝试匹配由两个已经训练好的模型中给定层的激活，通过使用一个拼接层将它们合并起来。我们证明了即使只有一个单一的仿射拼接层，具有相同结构但不同初始化的卷积神经网络中出现的内部表示仍然可以以令人惊讶的高精度进行匹配，同时我们也从任务的角度提供了关于神经网络相似性指数的新视角。

Oct, 2021

人类和深度神经网络在图像分类领域进行了许多行为比较的最新研究。我们报告了如何在人类观察者和各种经典和最先进的深度神经网络中获取可迁移表示的详细调查结果。发现表明，就绝对分类性能而言，深度神经网络展示了与人类学习者相媲美甚至超过的数据效率水平，挑战了该领域的一些主流假设。然而，整个学习过程中的比较揭示了显著的表征差异：深度神经网络的学习过程具有明显的泛化滞后，而人类似乎立即获得可泛化的表示，无需预备性学习训练集特定信息，这些特定信息只在之后被转移到新数据上。

Feb, 2024

本文提出了一种基于伪核的新工具，用于分析和预测网络学习到的表示，通过验证其在简单测试案例上的使用，本文论证了该方法可预测权重初始化和训练计划对表示学习和下游并发多任务执行表现的影响。

Jul, 2023