CVPRJan, 2021

使用随机标签的神经架构搜索

PDF
TL;DR本文提出了一种名为 ' 随机标签神经架构搜索 ' 的新型神经架构搜索范例，该算法基于 ' 易于收敛假设 '，只需要使用随机标签便可搜索到性能优异的候选网络，实验证明，该算法在多个数据集和搜索空间中均取得了比当前最先进的 NAS 方法（如 PC-DARTS，Single Path One-Shot）更好甚至可比的效果，为进一步了解 NAS 的本质提供了新思路。
neural architecture searchrandom labelsease-of-convergence hypothesissupernetstate-of-the-art nas methods
发现论文，激发创造
  • 递归标签校准实现无数据神经架构搜索

    本文以深度预训练神经网络为基础，探究如何通过数据恢复技术以及自主生成的语义与多样性丰富的合成数据，实现在保护隐私，避免偏见等现实场景下，无需使用原始训练数据进行神经结构搜索的可行性和效果，并发现合成数据的神经结构搜索表现不亚于以往使用原始数据的搜索结果。

    Dec, 2021

  • 神经架构搜索的随机搜索与可复现性

    本文介绍了一种基于随机搜索和超参数优化的神经架构搜索方法，并探讨了该领域中已有的研究成果的可重复性问题。研究结果表明，该方法在两个标准的 NAS 基准测试中表现出色，并且可以复现。

    Feb, 2019

  • 自监督神经架构搜索

    本研究提出了一种自监督神经架构搜索 (SSNAS) 方法，使用未标记的数据进行训练，无需使用标签数据即可发现新的网络模型，并在搜索标签数量相对较少时展示了该方法的优势。

    Jul, 2020

  • 鲁棒神经架构搜索

    本研究提出一种名为 Robust Neural Architecture Search 的新型神经架构搜索方法，使用正则化项来平衡准确性和鲁棒性，并使用噪声样本而非对抗样本来搜索架构。实验证明，该方法在图像分类和对抗攻击方面均达到了最先进的性能，并取得了准确性和鲁棒性之间的良好平衡。

    Apr, 2023

  • NAS 评估非常困难

    在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

    Dec, 2019

  • 自监督神经架构搜索用于不平衡数据集

    该文提出了一种基于自监督神经结构搜索技术的框架，用于处理非平衡数据集的情况，每个组件都能在资源受限的设备上（如单个 GPU）运行，实验结果表明该方法在 CIFAR-10 数据集上的性能比标准神经网络更佳，同时使用的参数少 27 倍。

    Sep, 2021

  • 神经结构搜索是否需要标签？

    本文介绍了一种无监督神经网络搜索机制 (Unsupervised Neural Architecture Search, UnNAS)，通过对 500 个不同网络结构的有监督或无监督目标进行训练，发现使用图像统计数据替代人类注释标签的效果与实际人类标签高度相关，并且这种方式可以用于搜索高质量的神经网络架构。

    Mar, 2020

  • 使用以前未见的神经架构搜索数据集的洞察

    神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

    Apr, 2024

  • 增强式进化神经架构搜索

    提出了一种名为 RE-NAS 的神经架构搜索方法，结合了进化算法和强化突变控制，成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet，并在移动 ImageNet 上取得了最新的最高准确率。

    Aug, 2018

  • NASI：初始化时的无标签和无数据神经结构搜索

    本文介绍了一种名为 NAS at Initialization (NASI) 的新型 NAS 算法，它利用了神经切向核在初始化时表征候选体系结构的收敛性能的能力，从而可以完全避免模型训练以提高搜索效率，并在 CIFAR-10/100 和 ImageNet 等各种数据集上实现了具有竞争力的搜索有效性。

    Sep, 2021