Feb, 2021

HardCoRe-NAS: 硬约束可微分神经架构搜索

PDF
TL;DR通过引入 HardCoRe-NAS 方法，我们精确地满足了各种资源约束，并在不需要任何调整的情况下生成了具有 state-of-the-art 性能的架构。
发现论文，激发创造
  • 高效资源神经网络架构

    提出了一种使用策略网络进行网络嵌入的强化学习的资源有效型神经架构搜索方法，可以在计算资源受限制的情况下获得高性能的神经网络结构，并在图像识别和关键词识别问题上实现了先进的性能。

    Jun, 2018

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • 搜索时间高效设备约束感知的神经架构搜索

    边缘计算旨在使边缘设备（如物联网设备）能够在本地处理数据，而不是依赖云端。本文提出了一种基于 DCA-NAS 的快速神经网络架构搜索方法，该方法结合了边缘设备的约束条件，如模型大小和浮点运算，通过权重共享和通道瓶颈技术加快搜索速度，并发现了具有低推断延迟和最先进性能的特定设备架构。

    Jul, 2023

  • 多硬件约束下增强神经架构搜索以在微型物联网设备上部署深度学习模型

    提出了一种在单个标准训练时间内将用户定义的内存和延迟约束融入不同 iable NAS 优化方法的新方法，该方法在五个物联网相关基准测试中进行了评估，包括 MLPerf Tiny 套件和 Tiny ImageNet，在仅一次搜索中降低了内存和延迟分别达到 87.4% 和 54.2%，同时保证 TinyML 的最新手动调优深度神经网络的非劣性精度。

    Oct, 2023

  • RC-DARTS: 资源受限的可微分架构搜索

    本文提出了资源限制下的可微架构搜索方法 (RC-DARTS)，以较小的模型尺寸和计算复杂度实现与最先进方法相当的性能，并通过对 Cifar10 和 ImageNet 数据集的实验进行了验证。

    Dec, 2019

  • 增强式进化神经架构搜索

    提出了一种名为 RE-NAS 的神经架构搜索方法，结合了进化算法和强化突变控制，成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet，并在移动 ImageNet 上取得了最新的最高准确率。

    Aug, 2018

  • 碳效率神经架构搜索

    该研究提出了一种新颖的神经架构搜索（NAS）方法，旨在在模型设计过程中降低能源成本并提高碳效率。所提出的名为碳高效 NAS（CE-NAS）的框架包括具有不同能源需求的 NAS 评估算法、多目标优化器和启发式 GPU 分配策略。CE-NAS 根据当前的碳排放动态平衡能效抽样和耗能评估任务。使用最近的 NAS 基准数据集和两个碳迹，我们的基于追踪的模拟结果表明，CE-NAS 在碳和搜索效率上优于三个基准。

    Jul, 2023

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022

  • 增强型压缩神经架构搜索对于多用途对抗鲁棒性的研究

    通过双层训练范式和适应多样攻击情境的框架，我们提出了一种适应性压缩神经构架搜索方法，使得神经网络具备更轻量级和更具鲁棒性。

    Jun, 2024

  • 关于资源受限硬件平台的神经架构搜索

    提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。

    Oct, 2019