神经架构搜索的科学研究最佳实践
过去十年,深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向,已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术,并介绍了基准、最佳实践、其他综述和开放源代码库。
Jan, 2023
本文对神经网络结构自动设计的算法 —— 神经架构搜索进行了全面的综述与研究,提出了对早期算法的问题的总结和解决方案,并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。
Jun, 2020
在本文中,我们提出了用于比较 NAS 方法的基准测试,并对常用的 DARTS search space 进行了进一步的实验。我们发现,手工设计的宏观结构比搜索到的微观结构更重要,并且深度间隔是一个真实的现象,最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。
Dec, 2019
神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词,该论文介绍了为一系列 NAS 挑战创建的八个数据集,以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。
Apr, 2024
本篇论文研究了神经架构搜索中搜索策略的有效性,并比较了 NAS 搜索策略与随机体系结构选择的质量,发现当前优秀的 NAS 算法与随机策略表现相似,并且广泛使用的权重共享策略降低了 NAS 候选项的排名。通过该研究,期望设计出更为优越的 NAS 策略和创造一一种新的评估框架。
Feb, 2019
神经架构搜索(NAS)从手动设计到自动化,提供了全面的概述,强调其在不同领域中的应用,包括医学成像和自然语言处理。该文档详细介绍了从专家驱动设计到算法驱动过程的转变,探索了初步的方法,例如强化学习和进化算法。还讨论了计算需求和高效 NAS 方法的挑战,如可微分架构搜索和硬件感知 NAS。本文进一步阐述了 NAS 在计算机视觉、自然语言处理等领域的应用,展示了其在不同任务中优化神经网络架构的多样性和潜力。未来的方向和挑战包括计算效率和与新兴 AI 领域的整合,展示了 NAS 的动态特性和其朝着更复杂、高效的架构搜索方法的持续演化。
Feb, 2024
本研究使用网络激活度重叠的方式实现预测神经网络的训练精度,并将其应用于神经结构搜索,以实现在单个 GPU 上进行快速网络搜索。同时,我们还提出了一种基于正则化进化搜索的适应方法,以进一步提高搜索效率。
Jun, 2020
本文的研究内容是基于文本数据集的循环神经网络搜索空间,旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中,研究者在文本数据集上训练了 14k 种循环神经网络结构,并进行了内在和外在的评估,最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。
Jun, 2020