GPT-NAS: 采用生成式预训练模型进行神经架构搜索

May, 2023

GPT-NAS: 采用生成式预训练模型进行神经架构搜索

GPT-NAS: Neural Architecture Search with the Generative Pre-Trained Model

Caiyang Yu, Xianggen Liu, Chenwei Tang, Wentao Feng, Jiancheng Lv

TL;DRGPT-NAS 是一种基于预训练模型的神经结构搜索算法，通过引入先验知识来大大减少搜索空间，从而优化神经网络架构，并在实验中取得了比其他七个手动设计的神经结构和竞争 NAS 方法提供的 13 个神经结构的好结果，并提高了经过精细调整的神经结构的性能。

Abstract

neural architecture search (NAS) has emerged as one of the effective methods to design the optimal neural network architecture automatically. Although neural architectures have achieved human-level performances in several tasks, few of them are obtained from the NAS method. The main re

neural architecture search generative pre-trained (gpt) model efficient search space automated architecture design optimized neural architectures

发现论文，激发创造

生成对抗神经架构搜索

本文提出了具有可证明收敛保证的生成式对抗网络 NAS (GA-NAS)，并基于权重的鉴别器提供的奖励，采用增强学习训练生成器，探索搜寻空间而无需评估大量体系结构，通过三个公共 NAS 基准测试，在多个情况下 GA-NAS 都能打败已发布的最佳结果，同时 GA-NAS 可以处理特定搜寻约束和空间，能用于改进其他 NAS 方法找到的优化基线的 ImageNet 准确性或参数数量。

May, 2021

神经网络结构生成器优化

本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展，并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

Apr, 2020

GraphPNAS：通过深度图生成模型学习优秀神经架构的分布

本文探讨神经结构搜索 (NAS) 的计算图模型，提出了一种利用图神经网络的深度生成模型 (GraphPNAS)，通过学习表现良好的神经结构的分布来比单纯的搜索最佳结构更高效。作者使用 RandWire，ENAS 和 NAS-Bench-101/201 的三个搜索空间对 GraphPNAS 进行了广泛的实验，并且结合强化学习方法生成高质量的神经结构，结果表明其优于传统的基于 RNN 的神经结构生成器及随机搜索方法，并且取得了与当前最先进的 NAS 方法相当甚至更好的性能表现。

Nov, 2022

GPT-4 能进行神经架构搜索吗？

本文探讨了 GPT-4 在神经结构搜索领域的潜力并提出了一种基于 GPT-4 的优化方法 GENIUS，旨在通过较简单的启动方案利用 GPT-4 作为黑盒优化器快速寻找神经结构搜索空间中的有效候选方案并迭代优化，以改善性能，通过基准测试证明了 GENIUS 的有效性，同时也指出了研究的重要局限性和 AI 安全的影响。

Apr, 2023

后验引导的神经网络结构搜索

本研究从贝叶斯角度出发，提出了一种后验引导的神经结构搜索方法（PGNAS），通过估计网络结构和权重的联合后验分布，减少数据采样与超参数调整，并在图像分类任务上进行验证，证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。

Jun, 2019

图神经网络中的神经结构搜索

本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

Jul, 2020

GeNAS: 具有更好泛化性能的神经架构搜索

本文探讨了一种新的神经架构搜索度量方式，发现损失曲面的平整度可以预测神经网络架构的泛化能力，通过在不同的搜索空间进行评估，提出的方法相对于现有的 NAS 方法表现更好，并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。

May, 2023

NAS-Bench-NLP: 自然语言处理神经架构搜索基准

本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

Jun, 2020

使用 GPT-4 进行图神经网络架构搜索

利用 GPT-4 嵌入 GNAS 中进行图神经架构搜索，通过设计一类用于引导 GPT-4 生成图神经结构的提示信息，提供了更准确且收敛迅速的图神经网络，实验结果表明相比最先进的 GNAS 方法，嵌入 GPT-4 的 GNAS 取得了更好的性能。

Sep, 2023

使用以前未见的神经架构搜索数据集的洞察

神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

Apr, 2024