HM-NAS: 基于分层掩膜的高效神经架构搜索
本文介绍了一种基于网络态势的神经结构搜索方法 - Noisy Heuristics NAS,该方法利用人工智能动态学中所学得的启发式算法和生物神经元的动态特性,通过添加和修剪神经元以及控制网络中隐含层数量的关系等元参数的方式,可以在线增加或减少神经网络模型的容量或非线性,进而实现对神经结构的扩展和优化。实验结果在 MNIST、CIFAR-10 和 CIFAR-100 等数据集上表现良好,并与手工构建的 ResNet-18 结构相当。
Jul, 2022
本文介绍了神经体系结构搜索中的共享权重方法,并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时,根据不同的方法来弥合这个差距,分析了这些方法的优劣。最后,就 NAS 和 AutoML 的未来方向提出了作者的观点。
Aug, 2020
该论文综述了当前关于硬件感知神经架构搜索的研究,包括搜索空间,搜索策略,加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂,导致在 IoT,移动和嵌入式系统等资源受限的平台上部署困难的问题,并讨论了相关算法及策略的挑战和局限性,同时为未来的研究提供参考,这是首篇针对硬件感知神经架构搜索的论文综述。
Jan, 2021
本文提出了一种名为 LCMNAS 的方法,它能够在非约束搜索空间条件下执行宏搜索,同时不依赖于预定义的启发式算法或范围限制,并引入三个组成部分来推动神经架构搜索方向的发展:利用有关广泛应用架构的信息,自主生成基于具有隐藏属性的加权有向图的复杂搜索空间的方法,从头开始生成完整的架构的进化搜索策略,以及结合有关初始化阶段和更低保真度估计的信息来推断它们对于建模复杂函数的训练能力和容量情况的混合性能估计方法,在 13 个不同的数据集上进行了实验,显示出 LCMNAS 能够使用最少 GPU 计算生成单元和基于宏的架构,并在各方面都取得了最先进的结果。
Mar, 2022
本项研究提出了一种名为 HR-NAS 的新型神经结构搜索方法,采用多分辨率特征编码和轻量级 transformer 来动态产生网络架构,并通过高分辨率肢体姿态分割、目标检测和图像分类等密集预测任务的实验结果证明其能够在小的计算预算下实现最先进的性能和 FLOPs 折衷。
Jun, 2021
通过将大的搜索空间模块化为小的搜索空间,并利用 DNA 技术开发了一系列模型,我们解决了 weight-sharing NAS 中的多个困境,如可扩展性、效率和多模态兼容性,并在一定计算复杂度约束下寻求不同深度和宽度的架构。广泛的实验评估表明,我们的模型分别在移动卷积网络和小型视觉变换器上实现了 78.9%和 83.6%的 ImageNet 最高准确率。
Mar, 2024
本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题,同时提出了一种新的、层次化和基于图形的搜索空间,实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略,该方法有效地扩展了有效架构的范围,促进了多目标学习方法的发展, 并在六个基准数据集上进行了验证,在生成轻量级且高度竞争的模型方面表现出了有效性。
Apr, 2020
本文提出了一个双目立体匹配中第一个基于任务特定的人类知识的端对端分层神经架构搜索框架,通过优化整个管道的架构,我们的搜索网络优于所有现有的深度立体匹配结构,在多个基准测试中排名前 1,并在网络规模和推理速度上作出了实质性的改进。
Oct, 2020