通过硬件感知的神经架构搜索，预训练和迁移学习方法来改进神经网络的部署效率，并提出了综合性的延迟预测模型，能够有效地提高硬件延迟预测的准确性。

Mar, 2024

通过在优化中添加可微延迟损失项，使搜索过程能够在准确性和延迟之间进行权衡，并通过延迟预测的核心来实现，该核心将每个网络架构编码并馈送到多层回归器中。我们的方法能够降低 20％的延迟同时保持准确性，且易于转移到其他硬件平台或其他不能微分的因素上进行优化。

Jan, 2020

本研究评估了 31 种不同的神经架构搜索性能预测器，测试了多种性能衡量方法以及它们在加速基于预测的 NAS 框架方面的有效性，结果表明有些预测器组合可以实现更好的预测能力，并提供了不同设置下最佳预测器的建议。

Apr, 2021

利用深度学习方法提出了一种新的零样本神经架构搜索方法，该方法使用正弦编码的傅里叶和来构建计算前馈图，并通过伴随的多层感知机对架构进行排序。实验证明，该方法在 NAS-Bench-201 数据集上的相关性和收敛速度均超过了先前使用图卷积网络的方法，并且所提取的特征表示经训练后可迁移到其他 NAS-Benchmark，展现了在多个搜索空间中的潜在普适性。

Aug, 2023

本文提出一种基于延迟单调性的硬件感知神经架构搜索方法，通过利用搜索的代理设备在新设备上的可重用性和代理适应技术显著提高了单调性，仅使用一个代理设备即可找到接近 Pareto 最优架构，避免了为每个设备构建延迟预测器的高昂成本。

Nov, 2021

本研究提出了一种名为 WeakNAS 的方法，使用一连串较弱的预测器，以逐步精细搜索到高性能神经网络结构子空间，与现有技术相比，仅使用更少样本就可发现全局最优结构。

Feb, 2021

提出了一种基于图卷积网络（GCN）的性能预测器，用于实现高效的硬件感知神经架构搜索（BRP-NAS）。与以往的方法不同，该方法重视模型之间的二元关系和迭代数据选择策略，实现了更高效的样本利用率。研究表明，该方法在多项飞行器搜索领域中的性能表现均优于现有方法，并呼吁人们重视准确的时延估计。

Jul, 2020

通过研究公开可用的神经结构搜索基准，我们借鉴元学习的丰富领域，关注任务级相关性和预测器可迁移性的关系，并实验证明我们的元学习方法不仅在交叉验证实验中表现出卓越（或匹配）性能，还成功地在新的搜索空间和任务中展开了推广。

Nov, 2023

本研究提出了一个新颖的动态集成预测器框架，包括两个步骤，旨在解决基于预测器的神经架构搜索面临的 “冷启动” 问题，它可以从多种低保真信息中提取有益的知识，通过加权求和的方式融合低给定的架构性能预测信息来训练整个预测器。

Feb, 2023

利用预测器进行神经结构搜索（NAS）优化的方法大大提高了其有效性，本文对神经网络架构的编码方法进行了分类和研究，包括结构编码、学习编码和基于分数的编码，并引入了统一编码方法，进一步扩展了 NAS 预测器的应用范围。此研究基于在 NASBench-101（NB101）、NB201、NB301、Network Design Spaces（NDS）和 TransNASBench-101 等 NAS 领域超过 150 万个神经网络架构进行的实验证明，我们提出的预测器 FLAN（流动关注）通过融合预测器设计、迁移学习和统一编码，在训练 NAS 准确性预测器时能大幅度降低成本。所有神经网络的实现和编码方式均已在 https://github.com/abdelfattah-lab/flan_nas 开源。

Mar, 2024