ICLRMar, 2024

修剪的循环神经网络层中的图扩展保留性能

PDF
TL;DR神经网络的稀疏性和强连通性是扩展属性，对于在资源受限平台上使用递归神经网络进行实时序列学习任务来说，剪枝是必要的。本研究探讨了保持递归网络的大型谱间隙和层级扩展属性的方法，以及关于它们双分层图特性的时间展开递归网络图研究。通过 MNIST、CIFAR-10 和 Google 语音指令数据的实验结果表明，扩展图特性对于保留递归神经网络和长短期记忆网络的分类准确性至关重要。
expansion propertygraphpruningrecurrent networksexpander graph properties
发现论文，激发创造
  • 深度扩展网络：利用图理论构建高效深层网络

    本文提出了一种图形连接的 CNN 结构，其中使用扩展器图以提高连接效率和层间信息传递，与现有的 ResNets 和 DenseNet 及其变体相比可以在精度和效率方面达到更好的平衡。

    Nov, 2017

  • 扩张图传播

    该研究使用扩展图形传递信息来提出了一种名为 EGP 的图神经网络，以解决全图分类或回归任务中的挑战，同时避免病态行为和过度压缩等问题，为解决 GNN 中的过度压缩问题开辟了一条新途径。

    Oct, 2022

  • 高阶扩展图传播

    通过在边上交换信息，图神经网络对图结构化数据进行操作。然而，信息过于压缩问题限制了这种信息传递范式，可能导致信息丢失。为了解决这个问题，最新的研究探索使用低直径高连通度的稀疏图 —— 扩展图来进行信息传递。然而，现有的扩展图传播方法只考虑了两两交互，忽略了复杂数据中的高阶结构。为了探索在利用扩展图的同时捕捉这些高阶相关性的好处，我们引入了高阶扩展图传播。我们提出了两种构建二分扩展图的方法，并在合成数据集和真实世界数据集上评估了其性能。

    Nov, 2023

  • 图神经网络在节点分类方面逐渐失去表达能力

    对图神经网络进行研究，通过看其在无穷大层神经元的情况下的渐进行为，探讨了 GCNs 的表达能力，发现 GCNs 的表达能力与其底层图的拓扑信息相关，提供了一种基于权值归一化的方法，增强了真实数据下 GCNs 的性能。

    May, 2019

  • 图神经网络稀疏训练的全面图剪枝

    本文提出了一种基于渐进式图剪枝 (CGP) 的图神经网络 (GNN) 压缩框架，综合剪枝了图结构、节点特征和模型参数，同时引入重生过程以重新建立重要的连接，实验结果表明 CGP 策略在提高训练和推断效率的同时保证准确性超过了现有方法。

    Jul, 2022

  • 自扩展神经网络

    我们通过自然梯度的方法，动态地扩展神经网络的宽度和深度，以降低训练过程中的损失。对于不确定合适的网络架构尺寸的问题，我们提出了一种自动收缩神经网络的方法。

    Jul, 2023

  • 基于信息收缩和图扩展视角的 GNN 过度挤压问题

    提出一种用于分析过度压缩的基于信息收缩的框架，此分析是基于 von Neumann 的可靠计算模型的，该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时，本研究提出了一种基于重连的算法来缓解过度压缩问题。

    Aug, 2022

  • 使用修剪的逐层相关传播稀疏解释神经网络

    我们提出了一种修改后的解释方法，通过修剪不同层的相关传播来降低噪音，同时集中关注最重要的特征，从而提高深度神经网络输出的解释性。

    Apr, 2024

  • 图神经网络是内在良好的泛化器：通过建立 GNN 和 MLP 之间的联系进行深入探究

    本文通过引入中间模型 PMLP，揭示了 GNN 的性能提升主要源于其本质上的泛化能力，而非原理层面上的增强表现力。同时，本文发现 PMLP 表现与 GNN 相当，但训练效率更高。该发现为解析 GNN 相关问题提供了新的视角。

    Dec, 2022

  • 全局工作空间基元的收缩属性

    我们通过扩展 Kozachkov 等人在《RNNs of RNNs: Recursive Construction of Stable Assemblies of Recurrent Neural Networks》中引入的 RNNs of RNNs 的稳定性证明，为该体系结构的显著特殊情况，尤其是全局工作空间模块化结构，提供了理论上和实证上的支持；通过探索不同子网络模块之间的连接稀疏性结构，我们改进了基准序列处理任务上稳定 RNNs 的性能，强调了专门的图结构对于多区域 RNNs 的一般实用性。

    Oct, 2023