多条件图传播的神经架构搜索
该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。
Jun, 2020
提出了一个基于扩散模型的、可高效生成任务最优神经结构的 DiffusionNAG 架构，它可以利用以前的 NAS 任务和神经结构分布的先前知识生成任务最优的神经结构，并引入一个得分网络，从而确保合法神经结构的生成。我们的扩散 NAG 在体系结构生成功力和计算成本方面明显优于现有的转移 NAG 模型和前面提出的 NAS 方法，在四个计算机视觉数据集上证明了它的有效性。
May, 2023
基于扩散模型的神经网络结构搜索方法 DiffNAS 可以自动消除结构冗余，从而在减少计算复杂度的同时保持甚至提升性能。实验证明，DiffNAS 可以在潜在的扩散模型中达到 50% 的计算和参数减少，取得显著的计算缩减效果。
Nov, 2023
本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。
Jul, 2020
通过将神经结构转换为图形并使用平均度量作为代理评估指标，我们的 nasgraph 方法显著降低了训练自动设计的神经网络模型候选的计算成本，实现在 217 CPU 秒内从 NAS-Bench201 的 200 个随机采样架构中找到最佳架构，并在不同数据集上实现有竞争力的性能，包括 NASBench-101、NASBench-201 和 NDS 搜索空间。我们还展示了 nasgraph 在 Micro TransNAS-Bench-101 上可以推广至更具挑战性的任务。
May, 2024
本研究论文介绍了神经图生成器（NGG），它利用条件化的潜态扩散模型进行图生成，具有模型复杂图形模式的显著能力，并能控制图生成过程。NGG 通过图压缩的变分图自动编码器和在潜向量空间中的扩散过程，以图统计概述向量为指导。实验证明 NGG 在各种图生成任务中的通用性，能捕捉所需的图特性并推广到未见过的图。该研究工作标志着图生成方法的重大转变，为生成具有特定特征的多样化类型的图提供了更实用和高效的解决方案。
Mar, 2024
本文提出了一种高效的神经架构搜索（Neural Architecture Search, NAS）框架，基于元学习的跨模态潜空间，结合预训练的网络库和数据库，可以快速地为新数据集搜索神经架构，并且还提出了一种元性能预测器来从多个未见数据集中预估和选择最佳的神经架构。实验结果表明，该模型受过 ImageNet-1K 的元学习并结合 NAS-Bench 201 搜索空间的神经架构，在包括 CIFAR-10 和 CIFAR-100 等多个未见数据集上成功泛化，平均搜索时间为 33 GPU 秒，即使在 MobileNetV3 搜索空间下，它比具有相似性能的可转移 NAS 方法 NSGANetV2 快 5.5K 倍。我们认为这为快速 NAS 和利用累积多年的数据集和架构的知识提出了新的研究方向。
Jul, 2021
通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。
Apr, 2024
本文研究了基于神经架构搜索（NAS）的自动机器学习（AutoML）在计算机视觉以外的任务上的应用，作者提出了一种名为 DASH 的不同 iable NAS 算法，用于搜索卷积神经网络（CNN）的卷积核，实现了在多种应用领域上最先进的自动化性能。
Apr, 2022