基于设计图的高效自动机器学习
我们提出了一种拓扑感知的图减少技术 FALCON,它能保持特征 - 标签分布,并结合其他记忆减少方法(如小批量 GNN 和量化)进一步降低内存使用,通过与 SOTA 方法进行对比评估,我们广泛的结果表明 FALCON 能够在 GNN 模型上显著减少多种公共数据集的内存使用,同时实现相等的预测质量。
Dec, 2023
本研究提出自动设计深层 GNN 的方法,其中添加了新型的跳跃连接以促进特征重用和缓解梯度消失问题,并允许进化算法在演化过程中增加 GNN 层数来生成更深的网络,在 Cora、Citeseer、Pubmed 和 PPI 数据集上实验表明,GNNs 的生成结果具有最先进的性能。
Nov, 2020
神经网络的计算需求逐渐增加,同时对资源有限的设备提出了部署挑战。网络剪枝是在保持性能的同时减小模型大小和计算成本的解决方案。本文提出了 FALCON,一种基于组合优化的网络剪枝框架,同时考虑了模型准确性、FLOPs 和稀疏性约束。我们的算法可以解决含有数百万参数的问题实例,并证明在固定 FLOP 预算下,FALCON 相比其他剪枝方法具有更高的准确性。此外,在逐步剪枝设置中,我们的框架表现优于现有的剪枝方法,强调了对有效网络剪枝而言,结合 FLOP 和稀疏性约束的重要性。
Mar, 2024
本研究提出了一种新的自动化机器学习(AutoML)框架,通过演化图神经网络(GNN)模型来寻找最合适的结构和学习参数,并在半监督和归纳式节点表示学习和分类任务上展示它的性能。
Sep, 2020
本文提出了一种名为 Falcon 的端到端的 3 方协议,用于高效的私有机器学习模型训练和推理,它支持高效网络并且包容批量归一化,有安全性保证,并且比先前的解决方案更快速和更高效。
Apr, 2020
本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络,结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似,引出了有多少搜索空间维度实际上与问题相关的问题。
Jul, 2020
我们开发了一个基于图形的框架来表示最佳热管理系统设计的各个方面,旨在快速高效地识别最佳设计方案。通过图形框架,我们生成多样的热管理系统体系结构,对这些系统体系结构在各种负载条件下建模,并利用开环最优控制器确定每个系统的最佳性能。利用图神经网络模型训练预测性能,我们对剩余数据集进行性能估计,并利用估计值对测试数据进行排序,提供优先评估设计方案的能力。结果显示,通过此方法能够显著降低 92% 以上的系统动态建模和最优控制分析所需的工作量,以识别最佳设计方案。
Nov, 2023
该研究定义并系统研究了图神经网络的 315,000 种不同建模方式和 32 种预测任务的设计空间,得出了 GNN 设计准则,并提出 GNN 任务空间和相似度度量方法以便于在新任务和数据集上快速找到最佳的 GNN 设计。需要注意的是 GraphGym 也是一种开放且强大的探索不同 GNN 设计和任务的平台。
Nov, 2020
本文提出了一种新的神经网络结构搜索方法 ——Graph HyperNetworks,借助图神经网络来预测网络性能并直接生成权重,从而提高神经网络搜索效率;此外,Graph HyperNetworks 还可在任意预测环境下使用,在 CIFAR-10 和 ImageNet 等数据集上比现有手动设计网络更快且性能更好。
Oct, 2018
提出了一种基于进化优化策略以及 GCN SuperNet 和参数共享策略的 FL-AGCNS 算法,该算法适用于分布式和私有数据集的联邦学习场景,实验结果表明,在 FL 框架下,FL-AGCNS 显著优于当前最先进的 NAS 方法和 GCN 模型。
Apr, 2021