CVPRApr, 2021

网络空间搜索的 Pareto-Efficient 空间

PDF
TL;DR本文定义了一个新问题 —— 网络空间搜索（NSS），其目的是搜索有利的网络空间，而不是单一的架构。我们提出了一种 NSS 方法，可以自动搜索高效感知的网络空间，从而减少了人工成本和寻找令人满意的网络空间方面的巨大代价。
network space searchefficiency-aware architectureselite spacesneural architecture searchnss method
发现论文，激发创造
  • 高效神经网络架构搜索空间定义的方法

    在这篇论文中，我们提出了一种新颖的基于细胞的分层搜索空间，易于理解和操作，旨在优化搜索时间并且足够通用，可以处理大多数卷积神经网络的最先进架构。

    Oct, 2023

  • 神经结构搜索的演化搜索空间

    通过维护一个优化的搜索空间子集的神经搜索空间演化（NSE）方案，引入可学习的多分支设置，实现了神经架构设计的自动化和优化，以在 ImageNet 上实现优异的表现和响应延迟限制。

    Nov, 2020

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • AtomNAS：细粒度端到端神经架构搜索

    该文章提出了一种细粒度的搜索空间，有效地解决了神经体系结构搜索 (NAS) 中的搜索空间设计问题，其中包括资源感知的架构搜索框架和动态网络收缩技术，可同时进行搜索和训练，并在 ImageNet 上以小的搜索成本取得了最先进的性能。

    Dec, 2019

  • 神经结构搜索中的搜索空间污染

    本文介绍如何使用神经结构搜索来生成深度学习中的最优结构，并通过实验发现数据注入攻击会导致算法效果下降，进而提出提高算法鲁棒性的挑战。

    Jun, 2021

  • einspace: 从基本操作中搜索神经架构

    基于参数化概率上下文无关文法构建的 einspace 搜索空间通过在多种大小和复杂性的架构中引入包含卷积、注意力组件等多样网络操作的可变性，为寻找新的架构和改进现有架构提供了灵活性，同时加强了策略性搜索初始化，从而使神经网络结构搜索的表达能力及其初始搜索具有重要作用。

    May, 2024

  • LISSNAS: 基于局部性的迭代搜索空间缩减的神经架构搜索

    我们提出了 LISSNAS，一种自动算法，它将一个大空间缩小为一个多样化的小搜索空间，具有 SOTA 的搜索性能。我们展示了我们的方法在不同大小和数据集范围的搜索空间上的效果，并在两个不同的搜索空间中实现了最佳的 Top-1 准确率。在移动约束下，我们的方法在 ImageNet 上实现了 SOTA 的 Top-1 准确率为 77.6％，具有最佳的 Kendal-Tau、架构多样性和搜索空间大小。

    Jul, 2023

  • 关于视觉识别网络设计空间的研究

    本研究提出了分布估计的新的比较神经网络架构方法，揭示了最新神经架构搜索设计空间变体之间的显著统计差异，并发现标准模型家族的设计空间可以与最近神经架构搜索工作中使用的更复杂的设计空间可以相媲美，以期为发现更好的视觉识别网络提供更健壮的进展。

    May, 2019

  • 突破空间爆炸的诅咒：基于课程搜索的高效 NAS

    我们提出了一种基于课程学习的神经网络架构搜索方法 CNAS，通过逐渐扩展搜索空间的方式，显着提高了搜索效率并发现了比现有 NAS 方法更好的体系结构。

    Jul, 2020

  • ISTA-NAS：通过稀疏编码实现高效、一致的神经架构搜索

    通过稀疏编码的方法，进行可微的搜索及网络结构恢复，以满足稀疏性约束，提高了神经结构搜索的效率和性能。

    Oct, 2020