生成教学网络：通过学习生成合成训练数据加速神经架构搜索

Dec, 2019

生成教学网络：通过学习生成合成训练数据加速神经架构搜索

Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data

Felipe Petroski Such, Aditya Rawal, Joel Lehman, Kenneth O. Stanley, Jeff Clune

TL;DR本论文通过介绍生成性教学网络 (Generative Teaching Networks, GTNs) 和对其在监督学习和神经架构搜索领域的应用实例说明了利用算法自动生成训练数据和学习环境帮助 AI 代理快速学习的可能性以及潜在影响，并提出了一些有趣的研究方向。

Abstract

This paper investigates the intriguing question of whether we can create learning algorithms that automatically generate training data, learning environments, and curricula in order to help AI agents rapidly learn. We show that such algorithms are possible via →

generative teaching networks supervised learning neural architecture search meta-gradients training data

发现论文，激发创造

生成拓扑网络

生成模型的新类别 - 生成拓扑网络（GTNs）使用简单的监督学习方法并基于拓扑理论进行确定性训练。在 MNIST、celebA 和 Hands and Palm Images 数据集中展示了 GTNs 的优势，并通过 GTNs 的理论提供了改进性能的培训方法。

Jun, 2024

FermiNets：通过生成合成学习生成式机器生成高效神经网络

本研究提出了一种名为 “生成综合” 的新方法，它可以自动生成高度有效的深度神经网络架构，该方法可以广泛应用于移动和其他消费设备的边缘场景中，目的是加速和改进深度学习模型的构建，并提高模型效率和能源效率。

Sep, 2018

图神经网络中的神经结构搜索

本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

Jul, 2020

GPT-NAS: 采用生成式预训练模型进行神经架构搜索

GPT-NAS 是一种基于预训练模型的神经结构搜索算法，通过引入先验知识来大大减少搜索空间，从而优化神经网络架构，并在实验中取得了比其他七个手动设计的神经结构和竞争 NAS 方法提供的 13 个神经结构的好结果，并提高了经过精细调整的神经结构的性能。

May, 2023

生成对抗神经架构搜索

本文提出了具有可证明收敛保证的生成式对抗网络 NAS (GA-NAS)，并基于权重的鉴别器提供的奖励，采用增强学习训练生成器，探索搜寻空间而无需评估大量体系结构，通过三个公共 NAS 基准测试，在多个情况下 GA-NAS 都能打败已发布的最佳结果，同时 GA-NAS 可以处理特定搜寻约束和空间，能用于改进其他 NAS 方法找到的优化基线的 ImageNet 准确性或参数数量。

May, 2021

GraphNAS: 强化学习下的图神经网络架构搜索

本研究提出一种名为 GraphNAS 的图神经网络结构搜索方法，可用于自动搜索最佳图神经网络架构，通过强化学习训练循环网络，实现生成变长字符串，针对验证数据集的期望准确性最大化，实验结果表明在传导和归纳性学习设置中的节点分类任务中，GraphNAS 具有一致更好的性能，并可设计出一种与最佳人工设计的结构相媲美的新型网络架构。

Apr, 2019

GraphPNAS：通过深度图生成模型学习优秀神经架构的分布

本文探讨神经结构搜索 (NAS) 的计算图模型，提出了一种利用图神经网络的深度生成模型 (GraphPNAS)，通过学习表现良好的神经结构的分布来比单纯的搜索最佳结构更高效。作者使用 RandWire，ENAS 和 NAS-Bench-101/201 的三个搜索空间对 GraphPNAS 进行了广泛的实验，并且结合强化学习方法生成高质量的神经结构，结果表明其优于传统的基于 RNN 的神经结构生成器及随机搜索方法，并且取得了与当前最先进的 NAS 方法相当甚至更好的性能表现。

Nov, 2022

图变换网络

本论文提出了一种名为 GTNs 的图转换器网络，能够在图上进行节点表示的学习，同时生成新的图结构以及识别原始图上未连接点之间有用的连接。实验表明，GTNs 有效地生成新的图结构，通过卷积在新图上产生具有强大表现力的节点表示，并在三个基准节点分类任务中取得了最佳表现。

Nov, 2019

使用生成对抗网络学习生成椅子

本文探讨了使用生成对抗网络 (GAN) 合成高度逼真图像的优化问题，针对当下模型存在的问题，提出了一种修改规则和设计模型的方法。实验表明，我们的方法可以更有效地训练 GAN 模型，并以 3D 物体投影问题为例进行了验证。

May, 2017

图神经网络的进化架构搜索

本研究提出了一种新的自动化机器学习（AutoML）框架，通过演化图神经网络（GNN）模型来寻找最合适的结构和学习参数，并在半监督和归纳式节点表示学习和分类任务上展示它的性能。

Sep, 2020