May, 2024

einspace: 从基本操作中搜索神经架构

PDF
TL;DR基于参数化概率上下文无关文法构建的 einspace 搜索空间通过在多种大小和复杂性的架构中引入包含卷积、注意力组件等多样网络操作的可变性，为寻找新的架构和改进现有架构提供了灵活性，同时加强了策略性搜索初始化，从而使神经网络结构搜索的表达能力及其初始搜索具有重要作用。
neural architecture searchsearch space designexpressive search spacetransformative nas paradigmimproving network architectures
发现论文，激发创造
  • AtomNAS：细粒度端到端神经架构搜索

    该文章提出了一种细粒度的搜索空间，有效地解决了神经体系结构搜索 (NAS) 中的搜索空间设计问题，其中包括资源感知的架构搜索框架和动态网络收缩技术，可同时进行搜索和训练，并在 ImageNet 上以小的搜索成本取得了最先进的性能。

    Dec, 2019

  • 从零开始发现神经网络架构

    通过代数视角来表达网络结构，我们提出了一种更具有广泛性的方法来设计搜索空间，并提出了一种 Bayesian Optimization 策略来高效地在巨大的搜索空间中搜索，实验证明我们的搜索空间设计和搜索策略可以优于现有基准。

    Nov, 2022

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • NAS-Bench-201: 扩展可复现神经架构搜索的范围

    提出 NAS-Bench-201，通过设计新的搜索空间和提供多个数据集的结果以及诊断信息，为几乎所有最新的 NAS 算法提供一个统一的基准，从而避免了重复训练，并提高了搜索算法的效率。

    Jan, 2020

  • 突破空间爆炸的诅咒：基于课程搜索的高效 NAS

    我们提出了一种基于课程学习的神经网络架构搜索方法 CNAS，通过逐渐扩展搜索空间的方式，显着提高了搜索效率并发现了比现有 NAS 方法更好的体系结构。

    Jul, 2020

  • 从扩展搜索空间学习语言建模的架构

    本论文提出了一种名为 ESS 的神经网络结构搜索算法，它拥有更广泛的搜索空间，不仅可以学习循环或卷积细胞内的体系架构，还可以学习单元格之间的体系架构，并使用联合学习方法同时进行单元内和单元间的架构优化，在递归神经语言模型任务上取得了最新的最佳效果，并表现出优秀的泛化性能，对于大规模预学习体系结构的研究具有很大的潜力。

    May, 2020

  • 卷积网络的神经结构搜索简介

    本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

    May, 2020

  • NAS 评估非常困难

    在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

    Dec, 2019

  • 图神经网络中的神经结构搜索

    本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

    Jul, 2020

  • NAS-Bench-NLP: 自然语言处理神经架构搜索基准

    本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

    Jun, 2020