本研究提出了一种自监督神经架构搜索 (SSNAS) 方法,使用未标记的数据进行训练,无需使用标签数据即可发现新的网络模型,并在搜索标签数量相对较少时展示了该方法的优势。
Jul, 2020
本文提出了一种半监督评估神经架构的方法,使用自编码器发现神经架构的有意义的表示,并利用图卷积神经网络来预测它们的性能,以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验,证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。
May, 2020
该文提出了一种基于自监督神经结构搜索技术的框架,用于处理非平衡数据集的情况,每个组件都能在资源受限的设备上(如单个 GPU)运行,实验结果表明该方法在 CIFAR-10 数据集上的性能比标准神经网络更佳,同时使用的参数少 27 倍。
Sep, 2021
本研究使用网络激活度重叠的方式实现预测神经网络的训练精度,并将其应用于神经结构搜索,以实现在单个 GPU 上进行快速网络搜索。同时,我们还提出了一种基于正则化进化搜索的适应方法,以进一步提高搜索效率。
Jun, 2020
神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词,该论文介绍了为一系列 NAS 挑战创建的八个数据集,以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。
Apr, 2024
本文以深度预训练神经网络为基础,探究如何通过数据恢复技术以及自主生成的语义与多样性丰富的合成数据,实现在保护隐私,避免偏见等现实场景下,无需使用原始训练数据进行神经结构搜索的可行性和效果,并发现合成数据的神经结构搜索表现不亚于以往使用原始数据的搜索结果。
Dec, 2021
过去十年,深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向,已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术,并介绍了基准、最佳实践、其他综述和开放源代码库。
Jan, 2023
提出了 SemiNAS,这是一种半监督神经架构搜索方法,利用没有评估的架构进行训练,通过训练一个准确性预测器来减少计算成本,同时在相同的计算成本下获得更高的准确度。
Feb, 2020
本文的研究内容是基于文本数据集的循环神经网络搜索空间,旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中,研究者在文本数据集上训练了 14k 种循环神经网络结构,并进行了内在和外在的评估,最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。
本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。