Mar, 2024

TG-NAS: 使用 Transformer 和图卷积网络利用零成本的代理进行高效神经架构搜索

TL;DRTG-NAS 是一种基于模型的通用代理,利用基于 Transformer 的操作符嵌入生成器和图卷积网络 (GCN) 来预测架构性能,通过对各种 NAS 基准测试进行实验证明了其在搜索效率方面的优势,表明其作为高效架构搜索的基础组成部分的潜力。TG-NAS 与先前的零成本 (ZC) 代理方法相比,搜索效率提高了多达 300 倍,特别地,在 NAS-Bench-201 空间上发现具有 93.75% CIFAR-10 准确度的竞争模型,并在 DARTS 空间上达到了 74.5% 的 ImageNet top-1 准确度。