Jul, 2023

神经结构迁移 2：提高多目标神经结构搜索效率的范式

PDF
TL;DR本文提出了 NATv2，它是一种改进的神经结构搜索算法，能够改善超网络结构的生成和抽取子网络的性能，并引入精调的后处理流水线，成功地提高了 NAT 的质量，因此在使用最少的参数研究高性能结构时是高度推荐的。
deep learningartificial neural networksneural architecture searchonce-for-allneural architecture transfer
发现论文，激发创造
  • 神经架构迁移

    本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在 11 项基准图像分类任务中证明了其有效性。

    May, 2020

  • OFA$^2$: 一种多目标视角下的通用神经结构搜索方法

    该研究介绍了 Once-for-All（OFA）神经架构搜索（NAS）框架，利用多目标优化算法在 OFA 神经网络的基础上搜索高效的神经架构，并生成一个 Pareto 前沿，以指导 NAS 决策。

    Mar, 2023

  • NAT：准确紧凑神经架构转换器

    通过在深度神经网络内使用 Markov 决策过程和强化学习，我们提出了神经架构转换器，能够替换无意义或冗余的操作以提高性能并减少计算成本。我们的实验在 CIFAR-10 和 ImageNet 数据集上验证了此方法的有效性。

    Oct, 2019

  • 增强 Once-For-All：关于并行块、跳跃连接和早期退出的研究

    本文提出 OFAv2，它是 Once-For-All 算法的改进版，它通过包括早期退出、并行块和密集跳连接来改进体系结构，并扩展了训练过程，引入了 Elastic Level 和 Elastic Height 两个新阶段。此外，本文提出适用于多输出网络的新型知识蒸馏技术，并提出了动态教师网络选择的新策略。这些修改使得 OFAv2 在 Tiny ImageNet 数据集上的准确性能比 OFA 原始版本提高了高达 12.07％，同时仍然保持算法的灵活性和优势。

    Feb, 2023

  • 多目标进化神经架构搜索用于递归神经网络

    基于多目标进化算法的循环神经网络架构搜索方法在复杂度优化期间使用近似网络形态学，结果显示该方法能够找到与最先进手动设计的循环神经网络架构相比具有可比性能但计算需求较低的新型循环神经网络架构。

    Mar, 2024

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • POPNASv2: 高效的多目标神经结构搜索技术

    本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv2) 方法，该方法在原有的基础上进行了改进，通过加入新操作符、改进预测模型、引入细胞等价检查机制以及自适应贪心探索策略等方法，实现了 PNAS 相似的性能，同时平均搜索时间快了 4 倍。

    Oct, 2022

  • NSGANetV2: 进化多目标代理辅助神经架构搜索

    本文提出了一种高效的 NAS 算法，用于生成具有多个竞争目标的任务特定模型，在标准基准数据集上表现优异，且搜索效率大幅提高，并在六个不同的非标准数据集上证明了该方法的有效性和多样性。

    Jul, 2020

  • 多目标神经架构搜索调查

    该研究论文总结了多目标神经架构搜索（MONAS）领域的重要工作，并讨论了神经架构搜索的分类方法、目标函数及其随机性对多目标优化过程的影响，并提出了未来研究的方向。

    Jul, 2023

  • 神经架构搜索中的进化与效率：专家设计和自动优化之间的桥梁

    神经架构搜索（NAS）从手动设计到自动化，提供了全面的概述，强调其在不同领域中的应用，包括医学成像和自然语言处理。该文档详细介绍了从专家驱动设计到算法驱动过程的转变，探索了初步的方法，例如强化学习和进化算法。还讨论了计算需求和高效 NAS 方法的挑战，如可微分架构搜索和硬件感知 NAS。本文进一步阐述了 NAS 在计算机视觉、自然语言处理等领域的应用，展示了其在不同任务中优化神经网络架构的多样性和潜力。未来的方向和挑战包括计算效率和与新兴 AI 领域的整合，展示了 NAS 的动态特性和其朝着更复杂、高效的架构搜索方法的持续演化。

    Feb, 2024