neural architecture search aims at automatically finding neural architectures
that are competitive with architectures designed by human experts. While recent
approaches have achieved state-of-the-art predictive performance for image
recognition, they are problematic under resource cons
本文提出了一种新的多目标导向算法 MoreMNAS（Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search），通过结合 EA 和 RL 的优点，将 NSGA-II 遗传算法与自然突变过程相混合，使得神经模型搜索过程中不仅能够避免模型退化，还能更好地利用已学习的知识，并在超分辨领域 SR 中进行实验，获得比某些现有技术更少的 FLOPS 令人瞩目的模型。
提出了一种基于一次性 NAS 的高效方法，通过对 LLaMA2-7B 进行微调，并应用基于遗传算法的搜索方法找到更小、计算复杂度较低的网络架构，实现了模型大小减少和吞吐量加速，同时保持了准确性；此方法比修剪或稀疏化技术更有效和高效，并且证明了量化能够进一步减少网络的大小和复杂度，为自动创建适用于廉价、更易得到的硬件平台的大型语言模型提供了解决方案。