神经网络参数在训练过程中的信息几何进化

Jun, 2024

神经网络参数在训练过程中的信息几何进化

Information Geometry of Evolution of Neural Network Parameters While Training

Abhiram Anand Thiruthummal, Eun-jin Kim, Sergiy Shelyag

TL;DR应用信息几何框架研究人工神经网络（ANN）训练过程中的相变行为与过拟合之间的关联，通过研究 ANN 参数的概率分布，利用差分几何原理构建概率分布函数的黎曼流形，观察到 ANN 在训练过程中在流形上的运动发生相变，该相变与 ANN 模型的过拟合有数学上的相似性，为增强 ANN 的解释能力和可解释性提供了有用的工具。

Abstract

artificial neural networks (ANNs) are powerful tools capable of approximating any arbitrary mathematical function, but their interpretability remains limited, rendering them as black box models. To address this i

artificial neural networks interpretability information geometric framework overfitting phase transitions

发现论文，激发创造

演化图上 GNN 的微分几何视角与可解释性

通过使用公理化归因，我们提出了一种平滑参数化的图神经网络（GNN）预测分布，在一个高维嵌入空间中的低维流形上进行。我们利用微分几何观点在流形上建模分布演化，通过重新参数化流形上的曲线族并设计一个凸优化问题，找到一个独特的曲线，以简洁地近似分布演化，以供人类解释。对于具有演化图的节点分类、链路预测和图分类任务的大量实验证明了所提方法相对于现有技术方法的更好的稀疏性、忠实性和直观性。

Mar, 2024

神经群体动态和几何的可解释统计表征

本研究提出了一种基于统计学习的无监督几何深度学习框架，利用局部相空间特征的统计分布来表示非线性动态系统，该方法提供了鲁棒的几何感知或几何无关的表示，可用于测量轨迹的基础上进行无偏的动力学比较，并设计了一种具有最先进准确性的解码算法。

Apr, 2023

基于物理信息的神经网络在转换几何和流形上的应用

将几何变换与物理约束神经网络（PINNs）结合，通过将微分同胚作为参考域的映射并调整物理约束损失函数的导数计算，我们实现了对复杂几何和低维流形的 PINNs 的应用，从而允许在网络训练中进行直接的形状优化。通过对多个问题的示例验证，特别是在几何变化下，我们展示了该方法相比传统 PINNs 的增强灵活性。该框架为在科学和工程中基于参数化几何体上的偏微分方程（PDEs）进行高级建模铺平了道路。

Nov, 2023

从流形学习的角度看深度神经网络架构

本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化，并使用拓扑数据分析和持久性同调分形维数的概念，通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验，为可解释的和可解释的 AI 的发展做出了贡献。

Jun, 2023

许多深层网络的训练过程可以被解释为探索同一低维流形

通过信息几何技术，分析深度网络在训练过程中的预测轨迹，揭示了网络训练过程中探索了一个有效低维度流形，在预测空间中，不同架构、大小、训练优化方法、正则化技术、数据增强技术和权重初始化的网络都在同一个流形上，并研究了该流形的细节，发现不同的网络架构遵循可区分的轨迹，但其他因素影响较小；较大的网络沿着较小的网络相似的流形进行训练，而且更快速；初始化于预测空间不同部分的网络也沿着相似的流形收敛到解决方案。

May, 2023

几何感知神经网络

提出了几何信息神经网络（GINN）的概念，该网络涵盖了在几何约束下的学习、神经场作为合适的表示以及在几何任务中遇到的欠定系统的多样化解决方案生成。 GINN 公式不需要训练数据，并且可以被认为是完全由约束驱动的生成建模。将显式多样性损失添加到减轻模式崩溃。考虑到几何成分的连通性等多种约束，并通过莫尔斯理论将其转化为可微的损失。通过实验证明了 GINN 学习范式在二维和三维场景中的有效性，场景复杂性逐渐增加。

Feb, 2024

统计力学与人工神经网络：原理，模型和应用

神经科学，人工神经网络，统计力学，Hopfield 网络和 Boltzmann 机器是人工神经网络领域的主要研究课题。通过研究人工神经网络中的丢失函数的几何特征和可视化方法，可以提高其优化行为、泛化能力和整体性能。

Apr, 2024

信息几何优化算法：不变原理的统一看法

本研究提出了一种基于信息几何学的优化方法，使用自适应的、时变的、基于分位数的目标函数变换进行自然梯度上升。该方法不假设目标函数是可优化的，并通过时间离散化产生具体算法。理论上显示该算法最小化了多样化的损失，初步实验也展示了该算法具有在单次运行中做多次全局探索的能力。

Jun, 2011

神经网络中数据结构对学习的影响建模：隐藏流形模型

本文提出了一个名为 “隐藏流形模型” 的生成模型，证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过 Integro-differential 方程组进行跟踪，同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受其大小、学习率和隐藏流形维度等参数的影响。

Sep, 2019

深度神经网络的信息论泛化界

深度神经网络在实际应用中表现出卓越的泛化能力，本研究旨在通过信息理论的泛化界限来捕捉深度对于监督学习的影响和益处。通过从网络内部表示的训练和测试分布的 Kullback-Leibler（KL）散度或 1-Wasserstein 距离导出了两个层次性的泛化误差界限。KL 散度界限随着层索引的增加而收缩，而 Wasserstein 界限暗示了存在一个层作为泛化漏斗，它达到了最小的 1-Wasserstein 距离。在具有线性 DNN 的二元高斯分类设置下，推导出了两个界限的解析表达式。通过分析三个正则化 DNN 模型（Dropout，DropConnect 和高斯噪声注入）的连续层之间的强数据处理不等式（SDPI）系数，量化了相关信息度量在网络深入时的收缩情况。这使得我们的泛化界限能够捕捉与网络架构参数相关的收缩情况。将结果特化为具有有限参数空间和 Gibbs 算法的 DNNs 表明，在这些示例中，更深而较窄的网络架构具有更好的泛化能力，尽管这个观点的广泛适用性仍然有待讨论。

Apr, 2024