自监督神经架构搜索

Jul, 2020

Self-supervised Neural Architecture Search

Sapir Kaplan, Raja Giryes

TL;DR本研究提出了一种自监督神经架构搜索 (SSNAS) 方法，使用未标记的数据进行训练，无需使用标签数据即可发现新的网络模型，并在搜索标签数量相对较少时展示了该方法的优势。

Abstract

neural architecture search (NAS) has been used recently to achieve improved performance in various tasks and most prominently in image classification. Yet, current search strategies rely on large labeled datasets, which limit their usage in the case where only a smaller fraction of the

neural architecture search self-supervised learning neural network unsupervised learning performance improvement

发现论文，激发创造

自监督神经架构搜索用于不平衡数据集

该文提出了一种基于自监督神经结构搜索技术的框架，用于处理非平衡数据集的情况，每个组件都能在资源受限的设备上（如单个 GPU）运行，实验结果表明该方法在 CIFAR-10 数据集上的性能比标准神经网络更佳，同时使用的参数少 27 倍。

Sep, 2021

神经结构搜索的自我监督学习 (NAS)

此篇论文旨在提出一种创新的方法，利用未标记的数据即可自动学习以预测正确的结果，包括查阅现有技术并确定发展路径、实施和测试新方法，本文介绍了源于实习的多个探索方向。

Apr, 2023

一种半监督的神经架构评估器

本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。

May, 2020

无需训练的神经架构搜索

本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。

Jun, 2020

半监督神经架构搜索

提出了 SemiNAS，这是一种半监督神经架构搜索方法，利用没有评估的架构进行训练，通过训练一个准确性预测器来减少计算成本，同时在相同的计算成本下获得更高的准确度。

Feb, 2020

递归标签校准实现无数据神经架构搜索

本文以深度预训练神经网络为基础，探究如何通过数据恢复技术以及自主生成的语义与多样性丰富的合成数据，实现在保护隐私，避免偏见等现实场景下，无需使用原始训练数据进行神经结构搜索的可行性和效果，并发现合成数据的神经结构搜索表现不亚于以往使用原始数据的搜索结果。

Dec, 2021

使用以前未见的神经架构搜索数据集的洞察

神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

Apr, 2024

非监督式架构表示学习是否有助于神经架构搜索？

本研究发现，基于无监督表征学习预训练神经网络结构表征，而非结合准确度优化开始的结构搜索，在提高下游结构搜索效率方面表现更卓越，因为无监督学习更能促进具有相似连接和算子的神经网络聚集在一起，并使具有类似性能的神经网络在潜在空间中转移更加平滑。

Jun, 2020

神经结构搜索是否需要标签？

本文介绍了一种无监督神经网络搜索机制 (Unsupervised Neural Architecture Search, UnNAS)，通过对 500 个不同网络结构的有监督或无监督目标进行训练，发现使用图像统计数据替代人类注释标签的效果与实际人类标签高度相关，并且这种方式可以用于搜索高质量的神经网络架构。

Mar, 2020

SNAS：随机神经结构搜索

提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的搜索梯度，优化效果比基于强化学习的 NAS 更高，同时加入局部可分解奖励，以强制实施资源有效约束，最终在 CIFAR-10 数据集上得到了业界领先的准确性。

Dec, 2018