利用性能预测加速神经架构搜索

May, 2017

Accelerating Neural Architecture Search using Performance Prediction

Bowen Baker, Otkrist Gupta, Ramesh Raskar, Nikhil Naik

TL;DR本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法，并证明该方法在视觉分类和语言建模领域中是有效的。同时，我们提出了一种早期停止方法，可用于超参数优化和元模建模，加速了模型配置的优化过程，该方法在强化学习 - based 架构选择算法和基于贝叶斯思想的搜索方法中均可无缝集成。

Abstract

Methods for neural network hyperparameter optimization and meta-modeling are computationally expensive due to the need to train a large number of model configurations. In this paper, we show that standard frequen

neural network hyperparameter optimization performance prediction early stopping model configuration

发现论文，激发创造

神经架构搜索中性能预测器有多强大？

本研究评估了 31 种不同的神经架构搜索性能预测器，测试了多种性能衡量方法以及它们在加速基于预测的 NAS 框架方面的有效性，结果表明有些预测器组合可以实现更好的预测能力，并提供了不同设置下最佳预测器的建议。

Apr, 2021

神经网络结构搜索的快速性能估计

提出了一种基于训练速度测量的、无模型、高效、便宜的模型估计器，可在各种神经结构搜索空间中提高准确性并改善搜索速度或质量。

Jun, 2020

神经体系结构搜索的神经预测器

该论文提出一种比传统方法简单且更加高效的神经网络结构搜索方法，在 NASBench-101 基准测试上的表现是传统方法的 20 倍，同时还可以像基于权重共享的 ProxylessNAS 一样在 ImageNet 上获得较好的结果。

Dec, 2019

使用高性能计算和量子退火预测深度学习模型的超参数优化性能

利用模型性能预测与提前停止方法相结合，加速深度学习模型的超参数优化过程，通过 Swift-Hyperband 算法在高性能计算环境中测试，发现它在高能物理、计算机视觉和自然语言处理等领域的各种目标模型中找到相当好的超参数，且使用较少的计算资源。

Nov, 2023

TAPAS: 用于架构搜索的无需训练的准确性预测器

该研究提出了一种新的深度神经网络准确性预测器，可以预测未知输入数据集的分类性能，在不需要任何训练的情况下，在单个 GPU 上每秒超过 100 个网络，大规模架构搜索只需要几分钟。

Jun, 2018

Peephole：训练前预测网络性能

通过使用 LSTM 对网络的架构进行编码，我们提出了一种先验预测网络性能的方法，并进行了实证研究，证明此方法能够准确可靠地预测网络性能并产生一致的排名。

Dec, 2017

关于神经架构搜索的延迟预测器

通过硬件感知的神经架构搜索，预训练和迁移学习方法来改进神经网络的部署效率，并提出了综合性的延迟预测模型，能够有效地提高硬件延迟预测的准确性。

Mar, 2024

模型搜索科学化

本研究提出了一种元模型方法，支持自动化超参数优化，以取代手动调试，实现易复制和公正的优化过程，并在三个不同的计算机视觉问题上获得了最新的结果。

Sep, 2012

未知深度结构的参数预测

本文提出一种基于图神经网络的 Hypernetwork 模型，可以利用已经训练好的神经网络的知识，直接预测神经网络参数，实验结果表明，该模型可以在 CPU 上在秒级时间内预测具有很高的精度和泛化能力，通过该模型的应用，可能开启训练神经网络的新篇章。

Oct, 2021

神经图特征的惊人强大性能预测

通过一种简便可行的图形特征计算方法，GRAF (神经图形特征) 在预测网络性能的同时超越了零成本代理和其他常见编码方法，成为性能预测的大多数现有预测器中成本较低且表现最好的一种。

Apr, 2024