Jan, 2019

移动神经架构搜索中的多目标强化进化

PDF
TL;DR本文提出了一种新的多目标导向算法 MoreMNAS（Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search），通过结合 EA 和 RL 的优点，将 NSGA-II 遗传算法与自然突变过程相混合，使得神经模型搜索过程中不仅能够避免模型退化，还能更好地利用已学习的知识，并在超分辨领域 SR 中进行实验，获得比某些现有技术更少的 FLOPS 令人瞩目的模型。
发现论文，激发创造
  • 多目标进化神经架构搜索用于递归神经网络

    基于多目标进化算法的循环神经网络架构搜索方法在复杂度优化期间使用近似网络形态学，结果显示该方法能够找到与最先进手动设计的循环神经网络架构相比具有可比性能但计算需求较低的新型循环神经网络架构。

    Mar, 2024

  • 增强式进化神经架构搜索

    提出了一种名为 RE-NAS 的神经架构搜索方法，结合了进化算法和强化突变控制，成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet，并在移动 ImageNet 上取得了最新的最高准确率。

    Aug, 2018

  • 通过拉马克进化实现高效的多目标神经架构搜索

    LEMONADE 是一种多目标架构搜索算法，利用进化算法和近似网络同构算子来解决神经网络搜索领域的资源浪费问题，实现了高性能、低资源消耗的自动化神经网络设计。

    Apr, 2018

  • MONAS: 使用强化学习进行多目标神经架构搜索

    提出了一种基于多目标奖励函数的神经网络架构搜索框架 MONAS，可以用来优化神经网络预测准确率，同时满足功耗等其他重要目标。实验结果表明，与现有技术相比，使用 MONAS 找到的模型可以在计算机视觉应用中获得相当或更好的分类准确性，同时满足功耗等其他重要目标。

    Jun, 2018

  • NSGA-Net：使用多目标遗传算法的神经结构搜索

    本文介绍了 NSGA-Net，一种多目标优化的神经架构搜索算法，它通过使用前人先验知识，遗传算法（交叉和突变）以及贝叶斯网络等方式实现了对潜在神经网络结构的高效探索，从而找到一组多样的交换网络体系结构，并在 CIFAR-10 数据集上取得了与当前最先进的 NAS 方法相媲美的性能。

    Oct, 2018

  • 控制任务中的循环架构的神经进化

    该研究提出了一种新方法，即利用少量的突变规则来动态演化循环神经网络的结构，其结果表明，这种方法可以在大多数情况下匹配或超过梯度下降方法的性能，同时使用数量级更少的参数，该方法有望在对网络紧凑性和自主设计至关重要的实际应用方面开辟新的途径。

    Apr, 2023

  • FreeREA: 基于进化的架构搜索不需要预训练

    本文提出了一种名为 FreeREA 的算法，利用基于细胞的演化神经网络结构搜索，结合训练 - 免度量化的方式，实现了在几分钟内快速鉴别神经网络模型，同时保留模型大小和计算要求，因此能够适用于在有限资源下使用的应用。实验结果表明，FreeREA 可以在各种数据集和基准测试中优于现有的基于训练 / 免训练技术的技术，并能在约束的情况下扩展到通用神经结构搜索，从而为快速的神经结构搜索提供了一种有竞争力的解决方案。

    Jun, 2022

  • 图神经网络的进化架构搜索

    本研究提出了一种新的自动化机器学习（AutoML）框架，通过演化图神经网络（GNN）模型来寻找最合适的结构和学习参数，并在半监督和归纳式节点表示学习和分类任务上展示它的性能。

    Sep, 2020

  • 多种人群交替进化神经架构搜索

    通过将搜索空间转换为相互连接的单元，并顺序地搜索这些单元，然后对整个网络的上述搜索进行多次循环以减小先前单元对后续单元的影响，我们提出了 Multiple Population Alternate Evolution Neural Architecture Search（MPAE）这一新颖的神经网络架构搜索范式，并在迁移归档中建立出色的迁移档案，并将其中的优秀知识和经验传递给新的群体，从而加速种群进化过程，该方法仅需要 0.3 GPU 天即可在 CIFAR 数据集上搜索神经网络，并达到了最先进的结果。

    Mar, 2024

  • 多目标神经架构搜索调查

    该研究论文总结了多目标神经架构搜索（MONAS）领域的重要工作，并讨论了神经架构搜索的分类方法、目标函数及其随机性对多目标优化过程的影响，并提出了未来研究的方向。

    Jul, 2023