神经网络中度量空间和泛化能力

May, 2023

Metric Space Magnitude and Generalisation in Neural Networks

Rayna Andreeva, Katharina Limbeck, Bastian Rieck, Rik Sarkar

TL;DR本文介绍了一种用 topology 中的新型不变量.magnitude 对深度神经网络中的内部表示进行研究、并提出了一种新方法来确定其泛化能力。我们在理论上连接了 magnitude 维度和泛化误差，实验结果表明，所提出的框架可以成为泛化误差的良好指标。

Abstract

deep learning models have seen significant successes in numerous applications, but their inner workings remain elusive. The purpose of this work is to quantify the learning process of deep neural networks through

deep learning neural networks magnitude generalization capabilities topology

发现论文，激发创造

用于评估无监督表示学习的度量空间幅度

度量空间的规模最近被确定为一种新型不变量，它可以在多个尺度上衡量空间的 ' 有效大小 '。通过捕捉数据的几何和拓扑特性，度量空间可以解决无监督表示学习任务中的挑战。我们形式化了有限度量空间的度量函数之间的新概念差异度，并用它们导出了一种用于降维任务的质量度量。我们的度量可以在数据扰动下保持稳定，计算效率高，并且可以对嵌入进行严格的多尺度比较。我们通过一个实验套件展示了我们度量的实用性，其中包括数据可视化的比较。

Nov, 2023

神经表征的广义形状度量

为了理解生物和人工神经网络的操作，研究者们需要一个标准化的工具集来量化其结构等因素对神经表征的影响，这篇论文提出了一族量化表征不同神经网络之间相似性的度量空间，利用这个框架使得神经网络表征可以整合进任意的机器学习方法中，然后利用大规模生物和深度学习数据集来验证这些方法，最终找出了神经表征之间与结构和性能之间的关系。

Oct, 2021

几何感知深度变换

该文章提出了一种新的深度学习目标公式，在小训练集合的情况下能够使得其学习到的深层网络具有较好的泛化能力，同时介绍了一种基于几何感知的深度转换技术，从而实现了非线性、具有鲁棒性的特征转换，该方法在合成和真实数据方面表现良好，并支持所提出的框架使用 (K,ε)- 鲁棒性分析。

Sep, 2015

深度神经网络中基于边界的泛化预测

在这项研究中，我们分析了在不同环境下基于边界距离的泛化预测方法，并提出了一种融合基础数据流形的新的基于边界距离的度量，该度量在大多数情况下能更好地预测泛化。同时，我们对这种方法的实用性和局限性进行了分析，并发现这个度量与之前的工作的观点是吻合的。

May, 2024

神经网络中的内在维数、持久同调和泛化

通过利用拓扑数据分析，我们建立了一个通用的计算工具，可以有效地计算深度神经网络的内在维度，从而预测其泛化错误。我们发现，误差可以用所谓的 “持久同调维数” 来等价限制，同时不需要对训练动力学进行任何额外的几何或统计假设，并且进一步提供可视化工具来帮助理解深度学习中的泛化。

Nov, 2021

神经网络的 Fisher-Rao 度量、几何和复杂性

从不变性观点研究深度神经网络的几何和容量度量之间的关系，引入了具有期望不变性的 Fisher-Rao 范数作为新的容量概念，并发现了其分析特征和规范比较不等式，证明了其作为多种基于范数的复杂度度量的伞兵角色，讨论了引入新的度量方式对泛化误差的影响，使用 CIFAR-10 数据集的大量数值实验支持了理论分析的发现，研究的分析基于多层整流器网络局部导数的关键结构引理。

Nov, 2017

深度 ReLU 网络的度量学习和相似性学习的泛化分析

我们通过利用真实度量（目标函数）的特定结构，构建了一个近似真实度量的结构化深层 ReLU 神经网络，从而研究了度量和相似性学习的泛化性能，推导了度量和相似性学习问题的过度泛化误差界限，并通过仔细估计逼近误差和估计误差，得出了一个最佳的过度风险率，这是首次的度量和相似性学习的过度泛化错误分析，此外，我们还研究了具有一般损失的度量和相似性学习的真实度量的属性。

May, 2024

多层神经网络学习和泛化的直接方法：权重空间结构和内部表示

对于多层神经网络中的权值空间，MLN 是精确可解的模型，具有复制对称性，通过内部表达与训练集相关的偶奇和委员会机器等，推导其学习和泛化能力，并找到了一些新的精确结果。

Jan, 1995

关于分形维数作为泛化度量的局限性

深度学习中超参数化神经网络的泛化缺口、分形维度、持续同调维度、模型的双下降等方面进行了广泛的研究评估，通过观察发现，残差参数向量的 L2 范数与泛化缺口之间有更强的相关性。该研究为进一步探索分形几何、拓扑数据分析和神经网络优化之间的因果关系奠定了基础。

Jun, 2024

基于表示的复杂度测度对深度学习的泛化能力进行预测

从神经科学理论的角度解释深度神经网络的泛化能力，提供可自主计算的复杂度度量方法以揭示深度模型的泛化行为，并详细介绍在 NeurIPS 2020 举办的预测深度学习泛化比赛中获胜的解决方案。

Dec, 2020