FreeREA: 基于进化的架构搜索不需要预训练

Jun, 2022

FreeREA: 基于进化的架构搜索不需要预训练

FreeREA: Training-Free Evolution-based Architecture Search

Niccolò Cavagnero, Luca Robbiano, Barbara Caputo, Giuseppe Averta

TL;DR本文提出了一种名为 FreeREA 的算法，利用基于细胞的演化神经网络结构搜索，结合训练 - 免度量化的方式，实现了在几分钟内快速鉴别神经网络模型，同时保留模型大小和计算要求，因此能够适用于在有限资源下使用的应用。实验结果表明，FreeREA 可以在各种数据集和基准测试中优于现有的基于训练 / 免训练技术的技术，并能在约束的情况下扩展到通用神经结构搜索，从而为快速的神经结构搜索提供了一种有竞争力的解决方案。

Abstract

In the last decade, most research in machine learning contributed to the improvement of existing models, with the aim of increasing the performance of neural networks for the solution of a variety of different tasks. However, such advancements often come at the cost of an increase of m

machine learning neural architecture search model optimization tiny devices training-free metrics

发现论文，激发创造

高效的神经结构进化算法（EENA）

本文介绍了一种称为 EENA 的有效神经体系结构搜索方法，该方法通过精心设计的变异和交叉操作进行演化，可以在较少的计算资源下，显著降低搜索和训练时间，并设计出在 CIFAR-10 数据集上效果显著的神经体系结构。

May, 2019

增强式进化神经架构搜索

提出了一种名为 RE-NAS 的神经架构搜索方法，结合了进化算法和强化突变控制，成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet，并在移动 ImageNet 上取得了最新的最高准确率。

Aug, 2018

多目标进化神经架构搜索用于递归神经网络

基于多目标进化算法的循环神经网络架构搜索方法在复杂度优化期间使用近似网络形态学，结果显示该方法能够找到与最先进手动设计的循环神经网络架构相比具有可比性能但计算需求较低的新型循环神经网络架构。

Mar, 2024

无需训练的神经架构搜索

本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。

Jun, 2020

神经结构搜索的演化搜索空间

通过维护一个优化的搜索空间子集的神经搜索空间演化（NSE）方案，引入可学习的多分支设置，实现了神经架构设计的自动化和优化，以在 ImageNet 上实现优异的表现和响应延迟限制。

Nov, 2020

引导进化神经网络架构搜索与高效性能估计

该论文提出了一种名为 GEA 的新型引导神经结构搜索方法，该方法使用零代理估计器在每个代际初始化阶段生成和评估多个架构，然后从现有架构生成多个后代并同时驱动探索和剪枝，结果表明 GEA 在多个数据集上都取得了最先进的结果。

Jul, 2022

稳健并提升免训练神经架构搜索

提出了 RoBoT 算法，该算法通过优化组合已有的基于贝叶斯优化的训练免费度量标准，开发出在多样任务上具有强健性和一致更优性能的度量标准，并在新开发的度量标准上应用贪婪搜索以提高标准训练免费 NAS 的搜索性能。在多个 NAS 基准任务的广泛实验中，我们的 RoBoT 算法在理论结果支持下取得了实质性的经验证据。

Mar, 2024

高效资源神经网络架构

提出了一种使用策略网络进行网络嵌入的强化学习的资源有效型神经架构搜索方法，可以在计算资源受限制的情况下获得高性能的神经网络结构，并在图像识别和关键词识别问题上实现了先进的性能。

Jun, 2018

无需训练的 RNN 和 Transformer 神经结构搜索

本文研究了针对语言建模任务的循环神经网络 (RNN) 和基于 BERT 的 transformer 架构的无需训练的 NAS 指标，提出了一种新的指标来预测训练后的 RNN 性能，并发现 transformer 的搜索空间范式不适用于无需训练的神经架构搜索，需要进行优化。

Jun, 2023

移动神经架构搜索中的多目标强化进化

本文提出了一种新的多目标导向算法 MoreMNAS（Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search），通过结合 EA 和 RL 的优点，将 NSGA-II 遗传算法与自然突变过程相混合，使得神经模型搜索过程中不仅能够避免模型退化，还能更好地利用已学习的知识，并在超分辨领域 SR 中进行实验，获得比某些现有技术更少的 FLOPS 令人瞩目的模型。

Jan, 2019