DAG-DNNs 函数的表示和分解与结构网络剪枝
通过引入可变自动编码器的图神经网络模型,本文提出了一个生成模型,这个模型可以自然地处理离散和向量值变量,并通过在合成数据和基准数据集上进行实验,证明了方法的准确性和效果。
Apr, 2019
提出了使用可视化简化技术的交互式可视化系统,并将其集成到开源的 DNN 可视化工具包 MindInsight 中,以帮助减少计算图的元素,增强识别和诊断 DNN 模型的性能。
Dec, 2022
我们开发了一种新颖的卷积结构,专门用于从有向无环图 (DAGs) 的数据中学习。通过 DAGs,我们可以建模变量之间的因果关系,但它们的幂零邻接矩阵给开发 DAG 信号处理和机器学习工具带来了独特挑战。为了解决这个限制,我们利用了近期的进展,提供了 DAG 上信号的因果转变和卷积的备选定义。我们开发了一种新颖的卷积图神经网络,集成了可学习的 DAG 滤波器,以考虑图拓扑引起的部分排序,从而为学习 DAG 支持数据的有效表示提供了有价值的归纳偏见。我们讨论了所提出的 DAG 卷积网络(DCN)的显著优势和潜在限制,并使用合成数据在两个学习任务中评估其性能:网络扩散估计和源识别。DCN 相对于几个基线表现出有利的比较,展示了它的潜力。
May, 2024
本文提出了一种新的神经网络模型,其中每一层与一组候选映射相关联,通过顺序决策过程选择映射。该模型的结构类似于 DAG,能够学习一组本地变换,从而增强了该模型相对于经典的多层网络的表达能力。使用来自强化学习领域的策略梯度技术的学习算法,替代了传统的反向传播梯度下降技术。实验表明,这种方法具有很强的实用性。
Oct, 2014
利用聚合函数表达的子函数描述构成的有向无环图,深度网络比浅层网络更好地逼近这些函数,因为深度网络可以被设计成具有相同的组合结构,而浅层网络无法利用这一知识,组合性的祝福缓解了维数灾难,而称为良好误差传播的定理允许通过选择适当的范数、平滑度等将有关浅层网络的定理推广到有关深层网络的定理。我们在三个环境中说明了这一点,其中每个通道在深层网络中计算球面多项式、非平滑 ReLU 网络或与 ReLU 网络密切相关的另一种区域函数网络。
May, 2019
通过将上下文特征映射到加权邻接矩阵上的有向无环图(DAG),并利用具有新颖投影层的神经网络,我们提出了一种处理上下文 DAG 问题的方法,该方法确保输出矩阵稀疏并满足无环性质的最近发展算法,并为学习上下文 DAG 提供了可伸缩的计算框架,同时提供了收敛保证和反向传播投影层的解析梯度。实验结果表明,这种新方法可以在现有方法失败的情况下恢复真实的上下文特定图。
Oct, 2023
本篇论文研究了如何在 Transformer architecture 中注入图形结构偏差以更好地处理基于有向无环图的数据,包括构思了一个有效的注意机制来捕捉 DAG 的结构并提出了一种部分顺序的位置编码方法。作者在实验中证明了这个框架能够改善各种基线 transformers 的效果并使图 transformers 竞争力更强。
Oct, 2022