神经网络架构搜索:综述
本文综述了现有的方法,囊括了计算机领域中的神经体系结构搜索、自动化方法和深度学习等方面,内容包括常用的体系结构搜索空间和基于强化学习和进化算法的体系结构优化算法、模拟模型和单次模型。同时,文章对新的研究方向进行了探讨。
May, 2019
过去十年,深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向,已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术,并介绍了基准、最佳实践、其他综述和开放源代码库。
Jan, 2023
本文对神经网络结构自动设计的算法 —— 神经架构搜索进行了全面的综述与研究,提出了对早期算法的问题的总结和解决方案,并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。
Jun, 2020
该综述回顾了自动深度学习方向的研究进展,提出了十个评估标准,包括新颖性、解决方案质量、效率、稳定性、可解释性、再现性、工程质量、可扩展性、泛化性和环保性。
Dec, 2021
本文研究了主动学习深度神经网络,并提出了一种新的主动策略,该策略能够在学习过程中搜索有效的架构,同时使用三种已知的查询技术(softmax response,MC-dropout 和 coresets)进行应用,结果表明该方法在固定架构的主动学习方面表现出显著的优势。
Nov, 2018
神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词,该论文介绍了为一系列 NAS 挑战创建的八个数据集,以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。
Apr, 2024
该论文介绍了使用强化学习和一次性训练为指导原则的自动神经架构搜索框架 DQNAS,用于生成具有优越性能且具有最小可扩展性问题的神经网络架构。该框架可以减少设计卷积神经网络的时间和测试成本。
Jan, 2023
本文概述了深度学习的一些关键多层人工神经网络以及使用多智能体方法的新型自动体系结构优化协议;以及深度学习在异常行为检测、预测和预测分析、医学图像处理和分析、电力系统研究等应用领域的探索性调查。
May, 2019
本文利用神经架构搜索来搜索卷积神经网络模型,以提高基于音频信号的关键词识别性能,同时保持合理的内存占用。通过不同 iable Architecture Search 技术搜索预定义细胞空间中的操作符和它们之间的连接,然后在深度和宽度上扩展发现的单元来实现具有竞争力的性能,最终在 Google 的语音命令数据集上实现 97% 的最新准确性。
Sep, 2020