FL-NAS: 面向资源受限设备的 NAS 公平性技术发展：基于大型语言模型
提出了一种基于一次性 NAS 的高效方法，通过对 LLaMA2-7B 进行微调，并应用基于遗传算法的搜索方法找到更小、计算复杂度较低的网络架构，实现了模型大小减少和吞吐量加速，同时保持了准确性；此方法比修剪或稀疏化技术更有效和高效，并且证明了量化能够进一步减少网络的大小和复杂度，为自动创建适用于廉价、更易得到的硬件平台的大型语言模型提供了解决方案。
May, 2024
本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。
Jun, 2020
近期人工智能的进展将深度学习作为计算机视觉、数据挖掘和自然语言处理等领域的关键技术。本文探讨了提高 NAS 在长尾数据集上搜索和训练性能的方法，特别关注了 SSF-NAS 这一现有方法，通过集成自监督学习和公平可微分 NAS，在长尾数据集上取得更好的性能。
Jun, 2024
该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。
Jan, 2021
提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。
Oct, 2019
本研究提出了一个新的神经网络架构搜索框架 ——LC-NAS，该框架可以在指定延迟内搜索点云网络结构，并平衡了精度和延迟之间的权衡，实验结果表明，该框架在计算成本最小化的同时，能够找到具有最先进性能的点云分类体系结构。
Aug, 2020
本文提出了一种名为 LCMNAS 的方法，它能够在非约束搜索空间条件下执行宏搜索，同时不依赖于预定义的启发式算法或范围限制，并引入三个组成部分来推动神经架构搜索方向的发展：利用有关广泛应用架构的信息，自主生成基于具有隐藏属性的加权有向图的复杂搜索空间的方法，从头开始生成完整的架构的进化搜索策略，以及结合有关初始化阶段和更低保真度估计的信息来推断它们对于建模复杂函数的训练能力和容量情况的混合性能估计方法，在 13 个不同的数据集上进行了实验，显示出 LCMNAS 能够使用最少 GPU 计算生成单元和基于宏的架构，并在各方面都取得了最先进的结果。
Mar, 2022
该研究引入了一种名为 Flat Neural Architecture Search (FlatNAS) 的新型 NAS 解决方案，其探索了基于对权重扰动的鲁棒性和使用 Sharpness-Aware Minimization (SAM) 进行单个 NN 优化之间的相互作用。FlatNAS 是文献中首个系统性地探索 NN 损失景观中的平坦区域的 NAS 方法，并同时优化其在分布数据、OOD 鲁棒性和体系结构参数数量上的性能。与当前主要关注 OOD 算法的研究不同，FlatNAS 成功地评估了 NN 体系结构对 OOD 鲁棒性的影响，这在机器和深度学习的真实应用中是一个关键因素。FlatNAS 通过仅使用分布数据在 NAS 探索中达到了性能、OOD 泛化和参数数量之间的良好平衡。通过在文献中使用流行的基准数据集，评估了 NAS 设计的模型对输入数据破坏的鲁棒性。
Feb, 2024