神经网络中的内在维数、持久同调和泛化

Nov, 2021

神经网络中的内在维数、持久同调和泛化

Intrinsic Dimension, Persistent Homology and Generalization in Neural Networks

Tolga Birdal, Aaron Lou, Leonidas Guibas, Umut Şimşekli

TL;DR通过利用拓扑数据分析，我们建立了一个通用的计算工具，可以有效地计算深度神经网络的内在维度，从而预测其泛化错误。我们发现，误差可以用所谓的 “持久同调维数” 来等价限制，同时不需要对训练动力学进行任何额外的几何或统计假设，并且进一步提供可视化工具来帮助理解深度学习中的泛化。

Abstract

Disobeying the classical wisdom of statistical learning theory, modern deep neural networks generalize well even though they typically contain millions of parameters. Recently, it has been shown that the trajectories of iterative optimization algorithms can possess fractal structures,

deep neural networks fractal structures intrinsic dimension topological data analysis generalization error

发现论文，激发创造

关于分形维数作为泛化度量的局限性

深度学习中超参数化神经网络的泛化缺口、分形维度、持续同调维度、模型的双下降等方面进行了广泛的研究评估，通过观察发现，残差参数向量的 L2 范数与泛化缺口之间有更强的相关性。该研究为进一步探索分形几何、拓扑数据分析和神经网络优化之间的因果关系奠定了基础。

Jun, 2024

深度神经网络中数据表示的内在维度

研究了深度神经网络的几何属性和数据表示的内在维度，发现最后一个隐藏层的内在维度预测测试集合的分类准确性，这证明了可以广泛应用的神经网络是将数据转换为低维非线性流形的网络。

May, 2019

神经网络的泛化误差的高维动态

本文通过随机矩阵理论和线性模型中的准确解，研究了使用梯度下降训练的大型神经网络的泛化动态，发现梯度下降学习的动态自然地保护了大型网络免受过度训练和过拟合的影响，当自由参数的有效数量等于样本数量时，网络过度训练最严重，大小的适当调整可以减少网络过度训练，另外，高维域下，低泛化误差需要从小的初始权重开始。此外，本文还发现了两个新的现象：在梯度下降过程中存在一个冻结的权重子空间，而高维状态的统计特性可保护免受过度训练的影响。

Oct, 2017

深度模型参数计数的重新思考：有效维度再审视

通过有效维度的视角，我们研究了神经网络在参数计数作为复杂度代理时的一些奇妙的泛化特性，包括双下降现象、模型选择、宽度 - 深度权衡和损失曲面的功能多样性，发现通过有效维度可以更好地了解深度模型中参数和函数之间的相互作用，并且比其他基于范数或平坦度的泛化度量方法更优。

Mar, 2020

大规模几何学习的内在维度

本文提出了确定内在维度函数的计算方法，通过将数学测量集中现象公理地与内在维度联系起来，我们证明了其计算的可行性，并在模型中体现了复杂数据的几何特性，特别地，我们提出了一种将邻域信息纳入内在维度的主要方式，使得对常见图学习过程的新洞察成为可能。

Oct, 2022

从流形学习的角度看深度神经网络架构

本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化，并使用拓扑数据分析和持久性同调分形维数的概念，通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验，为可解释的和可解释的 AI 的发展做出了贡献。

Jun, 2023

客观景观的内在维度测量

本文研究神经网络的困难难度和最小描述长度，通过在一个较小的随机空间中训练网络，我们测量特定数据集上的内在维度，得出具有大不同规模的模型的数据集内在维度基本相同，以及压缩网络是可以实现的。

Apr, 2018

通过持久同调得出测度的分形维数

利用持久同调来定义分形维数，其中包括一维持久同调间隔长度的总和，通过逐渐增加的点数并能够在较多情况下分配更细粒度的不变量。

Aug, 2018

再现性与几何内在维度：关于图神经网络研究的调查

机器学习研究中的复制和再现困难已成为近年来一个突出的话题，本研究通过介绍一个机器学习再现性本体论并将其应用于图神经网络方法，评估了研究出版物在支持再现性不同方面的程度，同时探讨了维数灾难这一机器学习中的另一个关键挑战，即数据收集、表示和分析方面的挑战，以及数据集的几何固有维度对机器学习模型的影响程度。

Mar, 2024

内在数据集属性对泛化的影响：揭示自然图像与医学图像之间的学习差异

本研究调查神经网络在不同图像领域中的学习差异，发现医学图像和自然图像领域之间存在着显著的缩放差异，并提出了一种与数据科学指标相关的缩放规律，同时揭示了数据集属性对神经网络泛化、表示学习和鲁棒性的影响。

Jan, 2024