预训练图神经网络用于少样本智能模拟电路建模和设计
本文提出了一种针对图数据集的预训练策略和自监督方法,通过在节点和整个图级别上预训练表达力强的 GNN,以便 GNN 可以同时学习有用的局部和全局表示,并在多个图分类数据集上进行系统研究,发现我们的策略可避免负面转移并显着提高下游任务的泛化性能,最终达到了在分子性质预测和蛋白质功能预测方面的最先进性能。
May, 2019
本文介绍了一种名为 GPT-GNN 的框架,用于解决 Graph Neural Networks 训练问题,通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型,然后将其传输到 Downstream Tasks 中,从而显著提高了性能。
Jun, 2020
本文提出了一种任务无关的预训练方法,使得图神经网络(GNNs)可以学习最先进的图内核函数所引发的表示,并在监督学习阶段对任务进行微调,该技术对采用的 GNNs 体系结构和内核函数是不可知的,并且在预实验结果中表现出了启示性的提高表现
Nov, 2018
该论文介绍了一种用于模拟电路设计自动化的电路图神经网络(CktGNN),通过编码电路图并基于优化子程序自动生成电路拓扑结构和器件尺寸,提高了设计效率。同时,引入了一个名为 OCB 的公开数据集,用于评估和推广 CktGNN 在设计各种模拟电路方面的优越性能。该研究为一种基于学习的开源设计自动化模式在模拟电路领域铺平了道路。
Aug, 2023
我们提出了一种数据主动的图预训练(APT)框架,通过选择最具代表性和指导性的数据点来增强预训练,该框架包括图选择器和预训练模型,并通过两者的整合和交互以渐进迭代的方式进行图预训练,结果表明该方法能够通过较少的训练数据获得高效的预训练模型和更好的下游性能。
Nov, 2023
本研究提出自动设计深层 GNN 的方法,其中添加了新型的跳跃连接以促进特征重用和缓解梯度消失问题,并允许进化算法在演化过程中增加 GNN 层数来生成更深的网络,在 Cora、Citeseer、Pubmed 和 PPI 数据集上实验表明,GNNs 的生成结果具有最先进的性能。
Nov, 2020
本论文提出了一个自监督的图神经网络预训练框架 Graph Contrastive Coding(GCC),通过子图实例区分学习网络的建构,利用对比学习增强图神经网络的内在和可迁移的结构表现,并在十个图数据集上展开实验,结果表明,GCC 对于包括节点分类、相似性搜索和图分类等三个图学习任务,展现出与特定任务和从零开始训练的对应模型相竞争的性能,同时显示了预训练和微调范式在图表示学习中有很大的潜力。
Jun, 2020
使用对抗式对比学习提出了一种用于多个图领域的预训练模型,通过在拓扑结构上训练模型,并在评估时包含节点标签,我们展示了该模型在各种下游任务中与基准模型、未经训练的模型和非转移模型相比,性能相等或更好,包括在评估时使用节点标签,性能始终优于单个领域或非预训练模型。
Nov, 2023