Jun, 2024

用于内存计算的多目标神经架构搜索

PDF
TL;DR我们使用神经架构搜索（NAS）方法，通过贝叶斯优化构建卷积神经网络（CNN）模型，以灵活适配的深度增强内存计算（IMC）架构上的多样机器学习（ML）任务的效率。通过在超过 6.4 亿网络配置的庞大搜索空间中探索贝叶斯搜索算法，我们验证了我们的 NAS 方法在 IMC 架构部署中取得高准确性、低延迟和能量消耗的平衡解的有效性，涵盖了三个不同的图像分类数据集。
neural architecture searchin-memory computing architecturesbayesian optimizationconvolutional neural networkmulti-objective cost functions
发现论文，激发创造
  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • MnasNet：面向移动端平台感知的神经结构搜索

    本文提出了一种自动化的移动神经结构搜索（MNAS）方法，该方法将模型延迟明确地纳入主要目标，以便搜索可以识别满足准确性和延迟之间良好平衡的模型， 实验结果表明，该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型，并且实现了更好的 mAP 质量。

    Jul, 2018

  • MicroNAS: 零样本神经架构搜索用于 MCUs

    MicroNAS 是一种为边缘计算中的微控制器单元（MCU）设计的硬件感知的零样本神经架构搜索框架，通过考虑目标硬件的优化性能，在不高昂的计算成本下确定最佳神经架构，并实现了近 1104 倍的搜索效率提升和超过 3.23 倍的 MCU 推断速度提升，同时保持相似的准确性。

    Jan, 2024

  • 多硬件约束下增强神经架构搜索以在微型物联网设备上部署深度学习模型

    提出了一种在单个标准训练时间内将用户定义的内存和延迟约束融入不同 iable NAS 优化方法的新方法，该方法在五个物联网相关基准测试中进行了评估，包括 MLPerf Tiny 套件和 Tiny ImageNet，在仅一次搜索中降低了内存和延迟分别达到 87.4% 和 54.2%，同时保证 TinyML 的最新手动调优深度神经网络的非劣性精度。

    Oct, 2023

  • 面向内存计算神经加速器的器件 - 电路 - 体系结构联合探索

    本研究提出跨层设计的 NACIM 框架，将计算在内存中的架构和硬件设计相结合，同时考虑设备差异和电路拓扑，旨在找到具有高网络精度和最大化硬件效率的最有效的神经架构，在存在设备变异的情况下准确率损失最小，能效高达 16.3 TOPs/W，相比不考虑设备变异的现有架构 NACIM 能够降低 76.44%。

    Oct, 2019

  • 碳效率神经架构搜索

    该研究提出了一种新颖的神经架构搜索（NAS）方法，旨在在模型设计过程中降低能源成本并提高碳效率。所提出的名为碳高效 NAS（CE-NAS）的框架包括具有不同能源需求的 NAS 评估算法、多目标优化器和启发式 GPU 分配策略。CE-NAS 根据当前的碳排放动态平衡能效抽样和耗能评估任务。使用最近的 NAS 基准数据集和两个碳迹，我们的基于追踪的模拟结果表明，CE-NAS 在碳和搜索效率上优于三个基准。

    Jul, 2023

  • 基于元学习内核的高效可微分神经架构搜索

    该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77.0% 的 top-1 准确率，超过了 EfficientNet 和 MobileNetV3，并且与最先进的 NAS 方法相比，在相同的计算预算下速度还快了三个数量级。

    Dec, 2019

  • 实例感知神经架构搜索

    本文提出了一种基于实例的神经架构搜索方法 InstaNAS，通过搜索一种 “架构分布” 而不是单一的神经架构，确保难以处理的样本使用复杂的神经架构来减少前处理时间，并在搜索空间中验证表明，与 MobileNetV2 相比，在多个数据集上具有相同的准确性和大约 48.8％的前处理时间减少。

    Nov, 2018

  • 元架构搜索

    本文提出了基于贝叶斯元学习的 (Meta Architecture Search) 方法，用于加速大量任务的体系结构搜索，通过学习适用于整个任务集的任务不可知表达式，实现对 NAS 的大规模高效搜索，减少计算成本，并在 Imagenet 分类任务中发现了与目前使用更少显卡宽带的超参搜索算法相当的结果

    Dec, 2018

  • 学习搜索空间分割的多目标神经架构搜索

    使用 LaMOO 优化算法在神经架构搜索任务中取得了超过 200% 的样本效率提升，并在 CIFAR10 数据集上以仅 600 个搜索样本实现了 97.36% 的准确率和仅 1.62M 参数，以及在 ImageNet 数据集上仅使用 522M 浮点操作数实现了 80.4% 的 top-1 准确率。

    Jun, 2024