带完全有向图的网络神经网络
通过仿生智能 (BI) 中神经元形成复杂的图结构网络的启示,引入了突破性的循环神经网络(Cyclic NNs),模拟生物神经系统灵活和动态的图结构特性,允许神经元之间以包括循环在内的任意图状结构连接,相较于当前 ANN 的有向无环结构,具有更高的适应性。进一步基于这一新设计范式开发了 Graph Over Multi-layer Perceptron,是第一个详细的基于该设计范式的模型。通过在广泛测试数据集上进行实验证实了 Cyclic NN 在大多数常见情况下的优势,并通过使用前向 - 前向(FF)训练算法证明其优于当前 BP 训练方法。本研究展示了一种全新的 ANN 设计范式,与现有 ANN 设计有显著区别,有望引领更符合生物学可行性的人工智能系统。
Jan, 2024
本文提出了一种连续图神经网络 (CGNN),可以广泛应用于现有的离散动态的图神经网络,并能够捕捉节点之间的远距离依赖关系。实验结果表明,相对于竞争基线,该方法在节点分类任务上是有效的,且具有抗过度平滑的特性。
Dec, 2019
本文提出一种新的动态图神经网络模型 DGNN,能够利用图的动态信息,通过捕捉边之间的顺序信息、边之间的时间间隔和信息传播一致性,不断更新节点信息,以适应不断发展变化的图,实验结果证明了该框架的有效性。
Oct, 2018
图神经网络已成为从图结构数据中有效挖掘和学习的强大工具,但大多数研究侧重于静态图,忽视了真实世界网络的动态特性,该论文提供了对基本概念、关键技术和最新动态图神经网络模型的全面综述。
Apr, 2024
本文提出了一种基于双向完全图的 YNN 模型,可以更好地模拟神经网络,并消除了传统人工神经网络存在的结构性偏差。通过引入辅助稀疏性约束,YNN 模型可促进连接分布集中于关键连接。最后,还设计了基于最小割技术的小型神经模块结构,以减少 YNN 模型的计算负担。
Jun, 2023
本文提出了一种分离式图神经网络方法,适用于连续型和离散型大型动态图,通过统一的动态传播方法,能够在预测任务中支持序列模型,实现了卓越的可扩展性和表现力,实验结果在连续型和离散型动态图上均达到了最先进表现。
May, 2023
本文运用复杂网络理论将 DNN 表示为一个有向带权图,并介绍了一些度量方法,可以研究 DNN 作为动力学系统的性能,并发现度量方法可以区分低性能和高性能网络。
Sep, 2022
本文回顾了动态图学习的问题和模型,分析和讨论了各种动态图的监督学习设置,并确定了现有模型的相似之处和不同之处,最后为 DGNN 设计者在面对动态图学习问题时提供了一般指导原则。
Apr, 2023