Aug, 2018

增强式进化神经架构搜索

PDF
TL;DR提出了一种名为 RE-NAS 的神经架构搜索方法，结合了进化算法和强化突变控制，成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet，并在移动 ImageNet 上取得了最新的最高准确率。
neural architecture searchre-nasevolutionary methodmutation controllerstate-of-the-art accuracy
发现论文，激发创造
  • 高效资源神经网络架构

    提出了一种使用策略网络进行网络嵌入的强化学习的资源有效型神经架构搜索方法，可以在计算资源受限制的情况下获得高性能的神经网络结构，并在图像识别和关键词识别问题上实现了先进的性能。

    Jun, 2018

  • 多目标进化神经架构搜索用于递归神经网络

    基于多目标进化算法的循环神经网络架构搜索方法在复杂度优化期间使用近似网络形态学，结果显示该方法能够找到与最先进手动设计的循环神经网络架构相比具有可比性能但计算需求较低的新型循环神经网络架构。

    Mar, 2024

  • SNAS：随机神经结构搜索

    提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的搜索梯度，优化效果比基于强化学习的 NAS 更高，同时加入局部可分解奖励，以强制实施资源有效约束，最终在 CIFAR-10 数据集上得到了业界领先的准确性。

    Dec, 2018

  • 鲁棒神经架构搜索

    本研究提出一种名为 Robust Neural Architecture Search 的新型神经架构搜索方法，使用正则化项来平衡准确性和鲁棒性，并使用噪声样本而非对抗样本来搜索架构。实验证明，该方法在图像分类和对抗攻击方面均达到了最先进的性能，并取得了准确性和鲁棒性之间的良好平衡。

    Apr, 2023

  • 高效渐进式神经结构搜索

    该研究提出了一种名为 EPNAS（高效渐进的神经结构搜索）的神经结构搜索方法，它通过一种新的渐进搜索策略和基于 REINFORCE 的性能预测有效地处理大型搜索空间。EPNAS 被设计成能够在并行系统（如 GPU/TPU 集群）上并行搜索目标网络。该方法还可以推广到具有多个资源限制的体系结构搜索，这对于在移动设备和云平台等广泛平台上进行部署非常重要。在使用 CIFAR10 和 ImageNet 进行图像识别任务时，该方法在架构搜索速度和识别准确性方面均优于先进的网络结构和高效的 NAS 算法。

    Jul, 2019

  • NPENAS: 神经预测引导的神经结构搜索

    本文介绍一种基于神经预测器的进化算法（NPENAS）用于增强 NAS 的探索能力，设计了两种神经预测器，其中一种是基于贝叶斯优化的不确定性估计网络，另一种是直接输出输入神经结构性能预测的基于图的神经网络。大量实验表明，使用这种方法的 NPENAS 优于大多数现有的 NAS 算法.

    Mar, 2020

  • ReNAS：神经架构搜索的相对论评估

    该研究论文提出了一种名为 ReNAS 的相对性神经结构性能预测方法，可用于神经结构搜索，通过对数据集的有效采样，实验结果表明该方法相较于现有方法在 NAS-Bench-101 和 NAS-Bench-201 数据集上表现更优。

    Sep, 2019

  • 神经架构搜索中的进化与效率：专家设计和自动优化之间的桥梁

    神经架构搜索（NAS）从手动设计到自动化，提供了全面的概述，强调其在不同领域中的应用，包括医学成像和自然语言处理。该文档详细介绍了从专家驱动设计到算法驱动过程的转变，探索了初步的方法，例如强化学习和进化算法。还讨论了计算需求和高效 NAS 方法的挑战，如可微分架构搜索和硬件感知 NAS。本文进一步阐述了 NAS 在计算机视觉、自然语言处理等领域的应用，展示了其在不同任务中优化神经网络架构的多样性和潜力。未来的方向和挑战包括计算效率和与新兴 AI 领域的整合，展示了 NAS 的动态特性和其朝着更复杂、高效的架构搜索方法的持续演化。

    Feb, 2024

  • 演化神经架构搜索综述

    本文系统地综述了 200 多篇最新基于进化计算的 NAS 算法，分析了其设计原理和未来研究方向。

    Aug, 2020

  • 移动神经架构搜索中的多目标强化进化

    本文提出了一种新的多目标导向算法 MoreMNAS（Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search），通过结合 EA 和 RL 的优点，将 NSGA-II 遗传算法与自然突变过程相混合，使得神经模型搜索过程中不仅能够避免模型退化，还能更好地利用已学习的知识，并在超分辨领域 SR 中进行实验，获得比某些现有技术更少的 FLOPS 令人瞩目的模型。

    Jan, 2019