- LLaMA-NAS：大规模语言模型高效神经架构搜索
提出了一种基于一次性 NAS 的高效方法，通过对 LLaMA2-7B 进行微调，并应用基于遗传算法的搜索方法找到更小、计算复杂度较低的网络架构，实现了模型大小减少和吞吐量加速，同时保持了准确性；此方法比修剪或稀疏化技术更有效和高效，并且证明 - 仅需图表？无需训练的轻量级数据不可知神经架构搜索
通过将神经结构转换为图形并使用平均度量作为代理评估指标，我们的 nasgraph 方法显著降低了训练自动设计的神经网络模型候选的计算成本，实现在 217 CPU 秒内从 NAS-Bench201 的 200 个随机采样架构中找到最佳架构，并 - 零成本代理的评估 -- 从神经架构性能到模型鲁棒性
本研究分析了常见的零成本代理在 NAS-Bench-201 搜索空间中作为鲁棒性性能预测器的能力，发现预测鲁棒性使得现有的零成本代理预测任务更具挑战性，需要联合考虑多个代理才能预测模型的鲁棒性。
- ICML重新思考 DARTS 搜索空间并建立新的基准测试
本文提出了一种改进的、更大更难的基于 DARTS search space (LHD) 的基准测试，重新实现了 12 个基线并在 12 个条件下进行了评估，并探究了多种情况下的影响因素，可以作为神经结构搜索 (NAS) 未来进展的关键依据。
- ECCVScaleNet: 寻找可扩展模型
本文提出了 ScaleNet 模型，结合了基模型和缩放策略的搜索，利用马尔科夫链进化算法互动学习基模型的缩放策略来发展具有更加优异性能的大型模型，实验结果表明我们的放大网络在各种 FLOPs 上具有显着的性能优势，但搜索成本至少降低了 2. - CVPR当 NAS 遇上树：一种高效的神经结构搜索算法
TNAS 是新的神经结构搜索方法，它使用架构树和二进制运算树来分解搜索空间并减少探索大小，采用修改后的双层宽度优先搜索在提议的树中发现高性能架构，在四个 GPU 小时内在 NAS-Bench-201 上找到 94.37％的 CIFAR-10 - ICLR基于细胞的神经架构搜索中的冗余和多样性
本文在对流行的基于单元的搜索空间进行后期经验分析后发现，现有的搜索空间具有很高的冗余性，而单元中对性能影响最大的部分往往遵循类似的简单模式，并通过限制单元来包括这些模式，从而能找到一些能够匹配或胜过现有最先进模型的模型。
- 一台代理设备足矣：面向硬件的神经架构搜索
本文提出一种基于延迟单调性的硬件感知神经架构搜索方法，通过利用搜索的代理设备在新设备上的可重用性和代理适应技术显著提高了单调性，仅使用一个代理设备即可找到接近 Pareto 最优架构，避免了为每个设备构建延迟预测器的高昂成本。
- ICLRNASI：初始化时的无标签和无数据神经结构搜索
本文介绍了一种名为 NAS at Initialization (NASI) 的新型 NAS 算法，它利用了神经切向核在初始化时表征候选体系结构的收敛性能的能力，从而可以完全避免模型训练以提高搜索效率，并在 CIFAR-10/100 和 I - IJCAI利用搜索空间聚类分析的经验：基于质心的 NAS 初始化方法
本研究提出了一种使用数据驱动初始化技术来加速 NAS 算法的方法，其中包括了空间的聚类分析和聚类中心的提取。在 NAS benchmarks 上测试表明，相较于随机初始化，该方法能够更快达到收敛，并取得更好的最终结果。
- ICCVSingle-DARTS: 实现稳定体系结构搜索
本文提出 Single-DARTS，通过使用单级优化替换双级优化，显著减轻了性能坍塌，提高了体系结构搜索的稳定性，并在主流搜索空间上实现了最先进的性能。
- FLASH：具有硬件优化的快速神经架构搜索
FLASH 是一种快速的神经架构搜索方法，它在真实硬件平台上协同优化 DNN 的准确性和性能，并且该算法比现有最先进的方法具有超过四个数量级的加速，在嵌入式设备上，搜索时间不到 3 秒。
- ICMLK-shot NAS: 带 K-shot 超网让 NAS 的权重共享可学习
本文提出了一种基于 K-shot supernets 和 simplex-net 的 NAS 方法，可以自适应地学习权重共享，以获得更好的评估结果。实验结果表明，K-shot NAS 显著提高了路径的评估精度，并带来了令人印象深刻的性能提升 - 共享权重神经架构搜索：缩小优化差距的战斗
本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。
- ECCV搜索您需要的内容：混合精度量化的障碍罚项神经架构搜索
本文提出了基于软障碍罚函数的神经架构搜索方法 BP-NAS，用于搜索在给定复杂度条件下的最优混合精度模型，相较于手动设计和其他自动化混合精度方法，BP-NAS 在分类和目标检测任务上均取得了更好的结果。
- NPENAS: 神经预测引导的神经结构搜索
本文介绍一种基于神经预测器的进化算法（NPENAS）用于增强 NAS 的探索能力，设计了两种神经预测器，其中一种是基于贝叶斯优化的不确定性估计网络，另一种是直接输出输入神经结构性能预测的基于图的神经网络。大量实验表明，使用这种方法的 NPE - ICML基于扰动正则化的微分可微架构搜索稳定化
提出一种基于扰动的正则化方法 SmoothDARTS，通过随机平滑或对抗攻击稳定 DARTS-based 方法，能够在四个数据集上提高模型的稳定性和性能，并通过数学证明表明该方法能隐式地规范化验证损失的 Hessian 范数以实现更平滑的损