该研究提出了一种新的深度神经网络准确性预测器，可以预测未知输入数据集的分类性能，在不需要任何训练的情况下，在单个 GPU 上每秒超过 100 个网络，大规模架构搜索只需要几分钟。

Jun, 2018

本研究评估了 31 种不同的神经架构搜索性能预测器，测试了多种性能衡量方法以及它们在加速基于预测的 NAS 框架方面的有效性，结果表明有些预测器组合可以实现更好的预测能力，并提供了不同设置下最佳预测器的建议。

Apr, 2021

提出了一种基于上下文信息的神经预测器（CAP），只需使用少量标注的架构进行训练，通过上下文结构和自监督任务获得表达丰富且具有泛化性的架构表示，从而在神经架构搜索中具有突出的性能表现，并在不同搜索空间以及 CIFAR-10 数据集上展现出导航搜索空间的有效性。

Jun, 2024

本文提出了 GENNAPE，一种基于预训练的神经架构性能估计器，通过网络表示、对比预训练和基于模糊聚类的预测器集合相结合，旨在对完全未知的神经网络进行泛化。实验表明，GENNAPE 在 NAS-Bench-101 上预训练可以在 5 个不同的公共神经网络基准测试中实现卓越的可转移性，并能正确定位这些网络中的高性能体系结构。

Nov, 2022

本文提出了一种名为 GIAug 的有效的 DNN 架构扩增方法，它可以通过基于图同构的机制，非常高效地生成单一架构上多元化的注释架构，并将其编码成适合于大多数预测模型的形式，从而非常灵活地利用各种现有的基于性能预测的 NAS 算法，并且在 CIFAR-10 和 ImageNet 基准数据集上进行的广泛实验表明，GIAug 可以显著提高大多数最先进的同行预测器的性能，并且在与现有的最先进 NAS 算法相比时，可以在 ImageNet 上节省三个数量级的计算成本，同时保持类似的性能。

Jul, 2022

本文提出了一种基于零成本代理的搜索空间无关神经网络编码方法，以实现对多个任务、搜索空间和硬件设备的准确性和延迟预测进行多任务、多搜索空间和多硬件的自适应，从而在提高端到端样本效率方面取得了显著的效果。

Jun, 2023

通过利用目标硬件架构和初始参数扫描，我们提出了一种新的性能建模方法，显着减少了训练样本的数量，同时保持较高的准确性。我们的方法针对单层估计达到 0.02% 的平均绝对百分比误差（MAPE），针对整个深度神经网络的估计达到 0.68% 的 MAPE，仅需不到 10000 个训练样本，相比于随机抽样的模型，实验结果证明了我们方法在单层估计中的优越性。

Jun, 2024

本文提出 Perceiver IO 机器学习模型，它具有灵活的查询机制，能够处理来自任意领域的数据并对多种任务进行推理，其性能表现优于传统的 Transformer-based BERT 基准测试，并在 Sintel 光流估计方面取得了最先进的性能。

Jul, 2021

本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法，并证明该方法在视觉分类和语言建模领域中是有效的。同时，我们提出了一种早期停止方法，可用于超参数优化和元模建模，加速了模型配置的优化过程，该方法在强化学习 - based 架构选择算法和基于贝叶斯思想的搜索方法中均可无缝集成。

May, 2017

通过硬件感知的神经架构搜索，预训练和迁移学习方法来改进神经网络的部署效率，并提出了综合性的延迟预测模型，能够有效地提高硬件延迟预测的准确性。

Mar, 2024