提出了一种名为 MO-HDNAS 的多目标方法，通过优化三个目标（最大化表示相似度度量、最小化硬件成本和最大化硬件成本的多样性）在单次运行中以低计算成本的方式，识别出一组权衡的架构，有效地解决了适用于图像分类任务的硬件感知神经架构搜索问题。

Apr, 2024

该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

Jan, 2021

本研究采用无代理的硬件感知搜索方法，针对密集的语义分割任务，实现了特定任务和推理硬件上优化的网络，并在 Cityscapes 语义分割数据集上实现了最先进的网络准确度优化，在 NVIDIA AGX Xavier 上实现了低于 100ms 推理时间的 73.62％的类 mIOU，并与最新的最先进架构进行了详细分析。

Aug, 2019

本研究提出了一个名为 HW-NAS-Bench 的数据集，该数据集包含了网络搜索空间中所有网络的硬件性能表现数据，并对其进行了综合分析。与通用 NAS 相似，硬件感知神经架构搜索（HW-NAS）是一项需要大量计算资源和硬件设备的研究任务。本数据集让硬件不熟悉的研究者也能参与 HW-NAS 研究，并证明专门针对特定设备进行的 HW-NAS 确实可以导致最佳的准确性 - 成本平衡。

Mar, 2021

我们提出了一种新的神经架构搜索算法，通过超网络对设备和多个目标进行参数化和条件化，实现了性能和硬件度量之间的权衡，并在一次搜索中获得多设备上的具有代表性和多样性的架构。在高达 19 个硬件设备和 3 个目标的大量实验证明了方法的有效性和可扩展性。最后，我们证明在不增加额外成本的情况下，我们的方法在不同搜索空间和数据集上优于现有的多目标优化神经架构搜索方法，包括 ImageNet-1k 上的 MobileNetV3 和机器翻译中的 Transformer 空间。

Feb, 2024

本文分析了 25 种不同的搜索空间和数据集中流行的 NAS 算法和性能预测方法，发现从少数 NAS 基准得出的许多结论不适用于其他基准。因此，我们推出了 NAS-Bench-Suite，这是一套全面可扩展的 NAS 基准，通过统一接口访问，旨在促进可重现、可推广和快速的 NAS 研究。

Jan, 2022

通过寻找训练代理，我们构建了一个开源的双目标神经架构搜索基准测试，用于大规模数据集，并结合了加速器的设备性能，包括 GPU、TPU 和 FPGA。通过与各种 NAS 优化器和硬件平台的广泛实验，我们展示了该基准测试的准确性，并且可以对硬件感知模型进行零成本的研究。

Apr, 2024

FMAS 是一个快速的多目标神经架构搜索框架，用于语义分割。通过在搜索期间对 DeepLabV3 + 结构和预训练参数进行子采样且无需微调，FMAS 显著减少了训练时间，并使用验证数据集的子集进一步降低候选模型的评估时间。最终，只有最终的 Pareto 非支配候选者才使用完整的训练集进行微调。在 PASCAL VOC 2012 数据集上搜索性能更强且计算成本更低的模型时，FMAS 可以快速找到具有竞争力的设计，例如，在仅使用 0.5 GPU 天的时间内，它可以找到一种 DeepLabV3 + 变体，其 FLOPs 和参数分别减少了 10％和 20％，而误差仅增加了不到 3％。我们还在名为 GAP8 的边缘设备上进行搜索，并使用延迟作为指标。FMAS 可以发现比现有体系结构快 2.2 倍的神经网络，MIoU 损失仅为 7.61％。

Mar, 2023

使用 LaMOO 优化算法在神经架构搜索任务中取得了超过 200% 的样本效率提升，并在 CIFAR10 数据集上以仅 600 个搜索样本实现了 97.36% 的准确率和仅 1.62M 参数，以及在 ImageNet 数据集上仅使用 522M 浮点操作数实现了 80.4% 的 top-1 准确率。

Jun, 2024

该研究论文总结了多目标神经架构搜索（MONAS）领域的重要工作，并讨论了神经架构搜索的分类方法、目标函数及其随机性对多目标优化过程的影响，并提出了未来研究的方向。

Jul, 2023