Jun, 2018

TAPAS: 用于架构搜索的无需训练的准确性预测器

PDF
TL;DR该研究提出了一种新的深度神经网络准确性预测器，可以预测未知输入数据集的分类性能，在不需要任何训练的情况下，在单个 GPU 上每秒超过 100 个网络，大规模架构搜索只需要几分钟。
neural networkarchitecture searchaccuracy predictordataset difficultylarge-scale search
发现论文，激发创造
  • 神经体系结构搜索的神经预测器

    该论文提出一种比传统方法简单且更加高效的神经网络结构搜索方法，在 NASBench-101 基准测试上的表现是传统方法的 20 倍，同时还可以像基于权重共享的 ProxylessNAS 一样在 ImageNet 上获得较好的结果。

    Dec, 2019

  • 无需训练的神经架构搜索

    本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。

    Jun, 2020

  • 利用性能预测加速神经架构搜索

    本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法，并证明该方法在视觉分类和语言建模领域中是有效的。同时，我们提出了一种早期停止方法，可用于超参数优化和元模建模，加速了模型配置的优化过程，该方法在强化学习 - based 架构选择算法和基于贝叶斯思想的搜索方法中均可无缝集成。

    May, 2017

  • 关于神经架构搜索的延迟预测器

    通过硬件感知的神经架构搜索，预训练和迁移学习方法来改进神经网络的部署效率，并提出了综合性的延迟预测模型，能够有效地提高硬件延迟预测的准确性。

    Mar, 2024

  • 未知深度结构的参数预测

    本文提出一种基于图神经网络的 Hypernetwork 模型，可以利用已经训练好的神经网络的知识，直接预测神经网络参数，实验结果表明，该模型可以在 CPU 上在秒级时间内预测具有很高的精度和泛化能力，通过该模型的应用，可能开启训练神经网络的新篇章。

    Oct, 2021

  • 多预测：用于高效神经架构搜索的少样本预测器

    本文提出了一种基于零成本代理的搜索空间无关神经网络编码方法，以实现对多个任务、搜索空间和硬件设备的准确性和延迟预测进行多任务、多搜索空间和多硬件的自适应，从而在提高端到端样本效率方面取得了显著的效果。

    Jun, 2023

  • CAP: 一种用于 NAS 的上下文感知神经预测器

    提出了一种基于上下文信息的神经预测器（CAP），只需使用少量标注的架构进行训练，通过上下文结构和自监督任务获得表达丰富且具有泛化性的架构表示，从而在神经架构搜索中具有突出的性能表现，并在不同搜索空间以及 CIFAR-10 数据集上展现出导航搜索空间的有效性。

    Jun, 2024

  • 延迟感知的可微神经架构搜索

    通过在优化中添加可微延迟损失项，使搜索过程能够在准确性和延迟之间进行权衡，并通过延迟预测的核心来实现，该核心将每个网络架构编码并馈送到多层回归器中。我们的方法能够降低 20％的延迟同时保持准确性，且易于转移到其他硬件平台或其他不能微分的因素上进行优化。

    Jan, 2020

  • AIO-P：将神经性能预测器扩展到图像分类之外

    本文提出一种全新的 All-in-One Predictor (AIO-P) 来有效地预测多个计算机视觉任务下的深度学习模型的性能表现，并采用多领域神经网络结构，以及知识融入技术，经过大量的实验证明，该方法可以为新架构的预测和决策提供有力支持，并在多个任务中取得了显著的性能优势。

    Nov, 2022

  • 神经架构搜索中性能预测器有多强大？

    本研究评估了 31 种不同的神经架构搜索性能预测器，测试了多种性能衡量方法以及它们在加速基于预测的 NAS 框架方面的有效性，结果表明有些预测器组合可以实现更好的预测能力，并提供了不同设置下最佳预测器的建议。

    Apr, 2021