递归标签校准实现无数据神经架构搜索
本文提出了一种名为 ' 随机标签神经架构搜索 ' 的新型神经架构搜索范例,该算法基于 ' 易于收敛假设 ',只需要使用随机标签便可搜索到性能优异的候选网络,实验证明,该算法在多个数据集和搜索空间中均取得了比当前最先进的 NAS 方法(如 PC-DARTS,Single Path One-Shot)更好甚至可比的效果,为进一步了解 NAS 的本质提供了新思路。
Jan, 2021
本研究提出了一种自监督神经架构搜索 (SSNAS) 方法,使用未标记的数据进行训练,无需使用标签数据即可发现新的网络模型,并在搜索标签数量相对较少时展示了该方法的优势。
Jul, 2020
该文提出了一种基于自监督神经结构搜索技术的框架,用于处理非平衡数据集的情况,每个组件都能在资源受限的设备上(如单个 GPU)运行,实验结果表明该方法在 CIFAR-10 数据集上的性能比标准神经网络更佳,同时使用的参数少 27 倍。
Sep, 2021
神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词,该论文介绍了为一系列 NAS 挑战创建的八个数据集,以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。
Apr, 2024
本研究使用网络激活度重叠的方式实现预测神经网络的训练精度,并将其应用于神经结构搜索,以实现在单个 GPU 上进行快速网络搜索。同时,我们还提出了一种基于正则化进化搜索的适应方法,以进一步提高搜索效率。
Jun, 2020
提出了 SemiNAS,这是一种半监督神经架构搜索方法,利用没有评估的架构进行训练,通过训练一个准确性预测器来减少计算成本,同时在相同的计算成本下获得更高的准确度。
Feb, 2020
本研究提出一种名为 Densely Connected NAS (DCNAS) 的神经架构搜索框架,通过连接细胞并使用可学习的权重来引入密集连接的搜索空间,并通过路径和通道级别的抽样策略设计一个融合模块来降低搜索空间的内存消耗。DCNAS 搜索算法得到的体系结构在公共语义图像分割基准测试中的表现显著优于先前算法。
Mar, 2020
本文提出了一种高效的神经架构搜索(Neural Architecture Search, NAS)框架,基于元学习的跨模态潜空间,结合预训练的网络库和数据库,可以快速地为新数据集搜索神经架构,并且还提出了一种元性能预测器来从多个未见数据集中预估和选择最佳的神经架构。实验结果表明,该模型受过 ImageNet-1K 的元学习并结合 NAS-Bench 201 搜索空间的神经架构,在包括 CIFAR-10 和 CIFAR-100 等多个未见数据集上成功泛化,平均搜索时间为 33 GPU 秒,即使在 MobileNetV3 搜索空间下,它比具有相似性能的可转移 NAS 方法 NSGANetV2 快 5.5K 倍。我们认为这为快速 NAS 和利用累积多年的数据集和架构的知识提出了新的研究方向。
Jul, 2021
本文提出了一种名为 “Generic NAS” 的通用 NAS 框架,该框架采用自监督回归任务来评估架构的内在能力,并且在 13 个 CNN 搜索空间和一个 NLP 空间上进行了广泛的实验,展示了 GenNAS 的显着高效性(通过 Spearman 的 rho 度量的排名相关性和训练的收敛速度都得到了提升),并回答了两个与 NAS 相关的基本问题。
Aug, 2021
DATA 是一种简单而有效的用于自我监督学习预训练的神经结构搜索方法,该方法使用了域感知和任务感知前置训练,并使用可灵活搜索机制寻找不同计算成本的网络,用于各种下游视觉任务和数据域,实验结果表明具有良好的通用性。
Mar, 2022