本文探讨了超参数神经网络中大于两层的隐式偏差。通过添加线性层，可以优化神经网络的表示成本，并提高实际子空间的准确匹配度与预测性能。

May, 2023

对于多层神经网络中的权值空间，MLN 是精确可解的模型，具有复制对称性，通过内部表达与训练集相关的偶奇和委员会机器等，推导其学习和泛化能力，并找到了一些新的精确结果。

Jan, 1995

研究表明，transformers 在蛋白质语言任务和图像重建任务中的表示以非常相似的方式演化，从而呈现出数据流形在隐藏层中的几何和统计特性，而数据流形的语义结构在第一阶段触发。基于这些观察结果，建议使用内在维度作为无监督代理，以确定下游学习任务更合适的层次。

Feb, 2023

通过 ReLU 激活函数，我们研究了深度双曲神经网络（HNNs）的表示容量，证明了 HNNs 能够将任何有限加权树以 ε- 等度量嵌入到至少二维的带有给定曲率 κ<0 的双曲空间中，其中 ε>1（ε=1 时最优）。我们在实现嵌入的 HNN 上建立了网络复杂性的严格上界，发现实现图形表示的 HNN 的网络复杂性与表示保真度 / 失真率无关。我们将这一结果与在嵌入一个具有 $L>2^d$ 个叶子的树到 $d$ 维欧几里得空间时，任何 ReLU 多层感知器（MLP）必须施加的失真下界进行了对比，我们证明至少为 Ω(L^{1/d})；与定义 MLP 的深度、宽度和（可能是不连续的）激活函数无关。

Aug, 2023

通过一种新颖的可解释性方法，该论文使用信息论度量量化了神经模型对输入的表示的结构化程度，从而预测模型的泛化能力，并发现模型的代表性和噪声强度有关。此外，研究还研究了模型大小对表示空间结构的影响。

Jun, 2024

使用统计和信息理论的已建立原则，我们展示了深度神经网络中对无关因素的不变性等同于学习表示的信息最小性，而叠加层和在训练期间注入噪声自然偏向于学习不变表示。我们进一步分解了训练过程中使用的交叉熵损失，强调了内在的过拟合项。我们提出通过两种等效方式来限制这样的项的正则化损失：一种是使用 Kullbach-Leibler 项，它与 PAC-Bayes 视角相关；另一种是使用权重中的信息作为学习模型复杂度的度量，从而为权重提供了一种新的信息瓶颈。最后，我们展示出在神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的，因此在训练过程中自动优化。该理论使我们能够量化和预测使用我们的正则化损失时随机标签下欠拟合和过拟合之间的尖锐相变，我们通过实验证实了这一点，并阐明了损失函数的几何形状、学习表示的不变性属性和泛化误差之间的关系。

Jun, 2017

本文提出了一种新的非参数贝叶斯多成员潜在特征模型，用来分析复杂网络中的潜在结构，并展示了其在提高潜在结构学习和压缩表示方面的优势。

Jan, 2011

我们提出了一种基于无监督自动学习的方法，可以学习出具有小样本复杂度的好的表示方法，在视觉对象识别等领域可以得到应用。通过无监督学习期间存储的一组模板，可以对每个图像块计算一种不变而又唯一的（有区分性的）签名，从而从很少的有标记例子中学习图像识别。

Nov, 2013

提出了一种新的基于网络分析的方法，通过检测具有相似连接模式的单元的社区或聚类，从分层神经网络中提取全局和简化的结构，并通过实验验证其有效性，从而实现了分解网络、训练评估和数据分析等目的。

Mar, 2017

本文提出了一种基于层次贝叶斯模型的潜在变量模型，能更好地提取社交和生物学网络数据的结构关系并预测，相比只有一个层级的模型，本模型在预测性能上有显著的改进。

Jun, 2012