有向无环图神经网络
通过引入可变自动编码器的图神经网络模型,本文提出了一个生成模型,这个模型可以自然地处理离散和向量值变量,并通过在合成数据和基准数据集上进行实验,证明了方法的准确性和效果。
Apr, 2019
我们开发了一种新颖的卷积结构,专门用于从有向无环图 (DAGs) 的数据中学习。通过 DAGs,我们可以建模变量之间的因果关系,但它们的幂零邻接矩阵给开发 DAG 信号处理和机器学习工具带来了独特挑战。为了解决这个限制,我们利用了近期的进展,提供了 DAG 上信号的因果转变和卷积的备选定义。我们开发了一种新颖的卷积图神经网络,集成了可学习的 DAG 滤波器,以考虑图拓扑引起的部分排序,从而为学习 DAG 支持数据的有效表示提供了有价值的归纳偏见。我们讨论了所提出的 DAG 卷积网络(DCN)的显著优势和潜在限制,并使用合成数据在两个学习任务中评估其性能:网络扩散估计和源识别。DCN 相对于几个基线表现出有利的比较,展示了它的潜力。
May, 2024
该论文提出了一种新的框架,使用基于节点度数的门控机制动态地调整图神经网络的层数,从而增强信息聚合的能力并减少过度平滑,通过实验验证该模型在多个数据集上表现良好。
May, 2022
本篇论文研究了如何在 Transformer architecture 中注入图形结构偏差以更好地处理基于有向无环图的数据,包括构思了一个有效的注意机制来捕捉 DAG 的结构并提出了一种部分顺序的位置编码方法。作者在实验中证明了这个框架能够改善各种基线 transformers 的效果并使图 transformers 竞争力更强。
Oct, 2022
通过将上下文特征映射到加权邻接矩阵上的有向无环图(DAG),并利用具有新颖投影层的神经网络,我们提出了一种处理上下文 DAG 问题的方法,该方法确保输出矩阵稀疏并满足无环性质的最近发展算法,并为学习上下文 DAG 提供了可伸缩的计算框架,同时提供了收敛保证和反向传播投影层的解析梯度。实验结果表明,这种新方法可以在现有方法失败的情况下恢复真实的上下文特定图。
Oct, 2023
通过仿生智能 (BI) 中神经元形成复杂的图结构网络的启示,引入了突破性的循环神经网络(Cyclic NNs),模拟生物神经系统灵活和动态的图结构特性,允许神经元之间以包括循环在内的任意图状结构连接,相较于当前 ANN 的有向无环结构,具有更高的适应性。进一步基于这一新设计范式开发了 Graph Over Multi-layer Perceptron,是第一个详细的基于该设计范式的模型。通过在广泛测试数据集上进行实验证实了 Cyclic NN 在大多数常见情况下的优势,并通过使用前向 - 前向(FF)训练算法证明其优于当前 BP 训练方法。本研究展示了一种全新的 ANN 设计范式,与现有 ANN 设计有显著区别,有望引领更符合生物学可行性的人工智能系统。
Jan, 2024
引入因果图归一化流(causal-graphical normalizing flows, cGNFs)这一新方法,该方法利用深度神经网络对以有向无环图(directed acyclic graphs, DAGs)表示的理论进行经验评估,模型所显示的数据的完整联合分布,而无需对函数形式进行严格的假设,从而可以对由 DAGs 确定的任何因果估计量进行灵活的半参数估计,包括总效应、条件效应、直接和间接效应以及路径特定效应。
Jan, 2024
该研究整理并总结了关于应用于计算机视觉的基于图神经网络(GNNs)及其派生物(如 GAT、GCN 和 GRN)的方法的论文,从网络结构、数据集、以及与其他领域的关联等三个方面进行了详细阐述。
Dec, 2022
本研究提出自动设计深层 GNN 的方法,其中添加了新型的跳跃连接以促进特征重用和缓解梯度消失问题,并允许进化算法在演化过程中增加 GNN 层数来生成更深的网络,在 Cora、Citeseer、Pubmed 和 PPI 数据集上实验表明,GNNs 的生成结果具有最先进的性能。
Nov, 2020