Apr, 2023

Canvas: 神经网络端到端内核架构搜索

PDF
TL;DR本文介绍了一种结合了 Tensor Compilation 和 Neural Architecture Search 的新方法，称为 Kernel Architecture Search (KAS)，以生成高性能和高准确性的神经内核。作者设计并展示了一个名为 Canvas 的端到端框架，用于发现高质量的卷积替代内核，实现了平均 1.5 倍的加速，并且验证了 KAS 的实用性。
发现论文，激发创造
  • KNAS: 绿色神经架构搜索

    本文提出了一种环保的神经结构搜索方法，使用梯度代替传统的下游训练来评估结构，探索了梯度核心假设并提出了基于该假设的 KNAS 方法，在图像和文本分类任务中实现了与传统方法相当的结果，但搜索速度更快且具有环保意识。

    Nov, 2021

  • 多样任务有效的架构搜索

    本文研究了基于神经架构搜索（NAS）的自动机器学习（AutoML）在计算机视觉以外的任务上的应用，作者提出了一种名为 DASH 的不同 iable NAS 算法，用于搜索卷积神经网络（CNN）的卷积核，实现了在多种应用领域上最先进的自动化性能。

    Apr, 2022

  • 卷积网络的神经结构搜索简介

    本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

    May, 2020

  • Auto-Keras: 一种高效的神经结构搜索系统

    本研究提出了一种新的框架，利用神经网络变形和贝叶斯优化，实现了高效的神经架构搜索，并基于此开发了 Auto-Keras 的开源 AutoML 系统，该系统在不同 GPU 内存限制下具有自适应的搜索策略和 CPU 和 GPU 并行运行的能力，实验结果表明，该方法的性能优于现有技术。

    Jun, 2018

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

    Feb, 2021

  • 基于元学习内核的高效可微分神经架构搜索

    该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77.0% 的 top-1 准确率，超过了 EfficientNet 和 MobileNetV3，并且与最先进的 NAS 方法相比，在相同的计算预算下速度还快了三个数量级。

    Dec, 2019

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • NAS 评估非常困难

    在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

    Dec, 2019

  • 碳效率神经架构搜索

    该研究提出了一种新颖的神经架构搜索（NAS）方法，旨在在模型设计过程中降低能源成本并提高碳效率。所提出的名为碳高效 NAS（CE-NAS）的框架包括具有不同能源需求的 NAS 评估算法、多目标优化器和启发式 GPU 分配策略。CE-NAS 根据当前的碳排放动态平衡能效抽样和耗能评估任务。使用最近的 NAS 基准数据集和两个碳迹，我们的基于追踪的模拟结果表明，CE-NAS 在碳和搜索效率上优于三个基准。

    Jul, 2023

  • LayerNAS：多项式复杂度下的神经架构搜索

    LayerNAS 是一种利用组合优化来解决多目标神经网络架构搜索的方法，能够在多种搜索空间中发现优秀的模型候选项。

    Apr, 2023