ImmuNeCS: 一种基于人工免疫系统的神经委员会搜索
本文针对神经架构搜索中子网络精度不足的问题,提出一种基于图卷积网络的训练策略,提升搜索性能,实现更高的排名相关系数。同时,该方法还具有适用于多种硬件限制的灵活性。
Apr, 2020
本文提出了一种基于进化的神经架构搜索方法,利用基因表达式编程来进行卷积神经网络结构的发现,获得了良好的结果,同时也鼓励在进化的神经架构搜索中进行更多的实验。
May, 2020
本文对神经网络结构自动设计的算法——神经架构搜索进行了全面的综述与研究,提出了对早期算法的问题的总结和解决方案,并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。
Jun, 2020
本文提出了Block-wisely Self-supervised Neural Architecture Search (BossNAS)方法,包括定义可搜索的CNN-transformer混合结构搜索空间HyTra、以及新型自监督训练策略ensemble bootstrapping。在此挑战性的搜索空间上,作者搜索得到的模型BossNet-T在ImageNet上可达到82.5%的准确率,且在MBConv和NATS-Bench大小的搜索空间上均有较高的最优架构效果。
Mar, 2021
过去十年,深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向,已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术,并介绍了基准、最佳实践、其他综述和开放源代码库。
Jan, 2023
通过将大的搜索空间模块化为小的搜索空间,并利用DNA技术开发了一系列模型,我们解决了weight-sharing NAS中的多个困境,如可扩展性、效率和多模态兼容性,并在一定计算复杂度约束下寻求不同深度和宽度的架构。广泛的实验评估表明,我们的模型分别在移动卷积网络和小型视觉变换器上实现了78.9%和83.6%的ImageNet最高准确率。
Mar, 2024
神经架构搜索(NAS)从手动设计到自动化,提供了全面的概述,强调其在不同领域中的应用,包括医学成像和自然语言处理。该文档详细介绍了从专家驱动设计到算法驱动过程的转变,探索了初步的方法,例如强化学习和进化算法。还讨论了计算需求和高效NAS方法的挑战,如可微分架构搜索和硬件感知NAS。本文进一步阐述了NAS在计算机视觉、自然语言处理等领域的应用,展示了其在不同任务中优化神经网络架构的多样性和潜力。未来的方向和挑战包括计算效率和与新兴AI领域的整合,展示了NAS的动态特性和其朝着更复杂、高效的架构搜索方法的持续演化。
Feb, 2024
基于参数化概率上下文无关文法构建的einspace搜索空间通过在多种大小和复杂性的架构中引入包含卷积、注意力组件等多样网络操作的可变性,为寻找新的架构和改进现有架构提供了灵活性,同时加强了策略性搜索初始化,从而使神经网络结构搜索的表达能力及其初始搜索具有重要作用。
May, 2024