神经预测器的同质化架构增强

ICCVJul, 2021

Homogeneous Architecture Augmentation for Neural Predictor

Yuqiao Liu, Yehui Tang, Yanan Sun

TL;DR该论文提出了一种名为 Homogeneous Architecture Augmentation for Neural Predictor（HAAP）的算法，通过同质化编码和架构增强方法，生成足够的 DNN 架构数据集以训练神经预测器，并证明该算法在两种 NAS 基准数据集上均优于现有算法。

Abstract

neural architecture search (NAS) can automatically design well-performed architectures of deep neural networks (DNNs) for the tasks at hand. However, one bottleneck of NAS is the prohibitively computational cost

neural architecture search deep neural networks neural predictors architecture augmentation homogeneous representation

发现论文，激发创造

基于图同构的性能预测器架构增强

本文提出了一种名为 GIAug 的有效的 DNN 架构扩增方法，它可以通过基于图同构的机制，非常高效地生成单一架构上多元化的注释架构，并将其编码成适合于大多数预测模型的形式，从而非常灵活地利用各种现有的基于性能预测的 NAS 算法，并且在 CIFAR-10 和 ImageNet 基准数据集上进行的广泛实验表明，GIAug 可以显著提高大多数最先进的同行预测器的性能，并且在与现有的最先进 NAS 算法相比时，可以在 ImageNet 上节省三个数量级的计算成本，同时保持类似的性能。

Jul, 2022

一种半监督的神经架构评估器

本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。

May, 2020

硬件感知神经架构搜索的综合调查

该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

Jan, 2021

FR-NAS: 前向和后向图预测器用于高效的神经网络架构搜索

通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。

Apr, 2024

CAP: 一种用于 NAS 的上下文感知神经预测器

提出了一种基于上下文信息的神经预测器（CAP），只需使用少量标注的架构进行训练，通过上下文结构和自监督任务获得表达丰富且具有泛化性的架构表示，从而在神经架构搜索中具有突出的性能表现，并在不同搜索空间以及 CIFAR-10 数据集上展现出导航搜索空间的有效性。

Jun, 2024

多目标硬件感知神经架构搜索利用硬件成本多样性

提出了一种名为 MO-HDNAS 的多目标方法，通过优化三个目标（最大化表示相似度度量、最小化硬件成本和最大化硬件成本的多样性）在单次运行中以低计算成本的方式，识别出一组权衡的架构，有效地解决了适用于图像分类任务的硬件感知神经架构搜索问题。

Apr, 2024

GENNAPE: 通向广义神经网络架构性能估计的方法

本文提出了 GENNAPE，一种基于预训练的神经架构性能估计器，通过网络表示、对比预训练和基于模糊聚类的预测器集合相结合，旨在对完全未知的神经网络进行泛化。实验表明，GENNAPE 在 NAS-Bench-101 上预训练可以在 5 个不同的公共神经网络基准测试中实现卓越的可转移性，并能正确定位这些网络中的高性能体系结构。

Nov, 2022

HM-NAS: 基于分层掩膜的高效神经架构搜索

本文介绍了一种称为 HM-NAS 的高效神经结构搜索方法，它通过引入多级结构编码方案和自动学习的层次掩码方案来实现更加灵活、优化的高级神经网络结构搜索，相比现有的基于权重共享的方法，HM-NAS 在体系结构搜索性能和模型评估准确性方面都有了明显的提高。

Aug, 2019

多预测：用于高效神经架构搜索的少样本预测器

本文提出了一种基于零成本代理的搜索空间无关神经网络编码方法，以实现对多个任务、搜索空间和硬件设备的准确性和延迟预测进行多任务、多搜索空间和多硬件的自适应，从而在提高端到端样本效率方面取得了显著的效果。

Jun, 2023

HW-NAS-Bench: 硬件感知神经架构搜索基准

本研究提出了一个名为 HW-NAS-Bench 的数据集，该数据集包含了网络搜索空间中所有网络的硬件性能表现数据，并对其进行了综合分析。与通用 NAS 相似，硬件感知神经架构搜索（HW-NAS）是一项需要大量计算资源和硬件设备的研究任务。本数据集让硬件不熟悉的研究者也能参与 HW-NAS 研究，并证明专门针对特定设备进行的 HW-NAS 确实可以导致最佳的准确性 - 成本平衡。

Mar, 2021