本研究介绍了一种基于概率函数的输入变量表示方法，并提出如何量化各层对原始数据信息提取的贡献，并应用于深度表示的无监督学习，具有可实施性和科学性。

Oct, 2014

本文研究了神经网络所谓的收敛学习现象，使用多种技术对神经网络进行了实验，发现了一些神经网络的未知属性，包括神经网络中某些特征通常会被成功学习，而其他特征则没有被可靠地学习，单元学习低维子空间，而这些子空间是多个网络共有的，但学习的基向量不一致，表示代码表现出局部代码和略微分布式代码的混合特征。

Nov, 2015

本研究通过理论和算法对同一结构但训练自不同初始化的两个深度神经网络学习出的神经元激活子空间匹配进行研究，提出了最大匹配和简单匹配的核心概念，并发现了在子空间匹配方面，从不同初始化训练的网络中学习出的卷积层表示并不像普遍预期的那样相似。

Oct, 2018

研究表明，无限贝叶斯神经网络缺乏表征或等效核学习能力，从而导致性能变差，而有一种新型无限网络，即瓶颈无限网络，可同时继承无限网络的理论可行性和表征学习能力。

Oct, 2019

本研究揭示了神经网络在训练表示学习和迁移学习方面的优势，并通过学习与目标任务相关的表示来说明为什么在实践中神经网络明显优于与之相关的核方法。

Jun, 2022

通过分析学习表示在分离不同类别方面的有效性，使用简单的复杂度指标，研究表明数据复杂度随着网络层数增加和训练的进展而变化，受网络设计和训练样本的影响

Sep, 2022

本文探讨了超参数神经网络中大于两层的隐式偏差。通过添加线性层，可以优化神经网络的表示成本，并提高实际子空间的准确匹配度与预测性能。

May, 2023

深度神经网络的泛化能力在参数空间的损失景观形状和特征空间（即单位活动的空间）的表示流形结构两个不同的方法中已经被研究，但很少一起研究并显式连接。我们提出了一个简单的分析，建立了它们之间的联系，并展示了表明在深度神经网络的学习的最后阶段，神经表示流形的体积压缩与参数优化过程中所探索的最小值周围的损失的平坦性相关的结果。

Oct, 2023

通过研究深度线性网络的中间特征，本文量化揭示了特征在层级表示中的演化规律，证明线性网络的每一层以几何速率压缩类内特征，与通过数据的层数线性关系的方式区分类间特征，这不仅在深度非线性网络中得到验证，而且在迁移学习中具有实际应用意义。

Nov, 2023

本论文解决了通过神经网络的基本组成部分“权重”来理解神经网络的挑战，提出了一种自监督方法——超表征，旨在从神经网络模型群体中学习通用且与任务无关的表征。研究结果表明，经过训练的神经网络模型在权重空间中占据有意义的结构，这不仅揭示了模型的性能和训练状态，还推动了微调和迁移学习等应用，预示着神经网络开发及分析方式的根本性变革。

Oct, 2024