Jul, 2017

可扩展图像识别的可传递架构学习

PDF
TL;DR本文提出了一种在小数据集上搜索神经网络模型结构并将其转移至大数据集的方法，称为 NASNet，通过设计新的搜索空间并使用调度 DropPath 技术提高了模型在 ImageNet 等数据集上的分类正确率。
neural networkarchitecture engineeringnasnetconvolutional layerregularization technique
发现论文，激发创造
  • 神经架构迁移

    本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在 11 项基准图像分类任务中证明了其有效性。

    May, 2020

  • 通过集成学习提高神经架构搜索图像分类器的性能

    本文提出了 AdaNAS 算法，利用集成技术将神经网络组合成一组小型神经网络集合，并采用基于知识蒸馏的新技术，迭代地训练小型神经网络，取得了 CIFAR-10 数据集中可比较的结果和 CIFAR-100 数据集中的最佳结果。

    Mar, 2019

  • 基于单元神经网络结构搜索的架构学习理解

    研究使用神经结构搜索（NAS）算法通过对 loss landscape 以及 gradient information 的分析，发现其倾向于选择使用 wide and shallow cell structures 的架构，虽然这些架构具有快速收敛的优势，但不一定能获得比其他架构更好的泛化性能。因此，有必要修正现有的 NAS 算法。

    Sep, 2019

  • 带有知识蒸馏的分块监督神经网络架构搜索

    本文旨在通过将神经体系结构搜索的大搜索空间模块化为块，以确保潜在的候选架构完全训练，从而降低共享参数引起的表示移位并导致对候选项的正确评级，并且从教师模型中提取体系结构知识来指导我们的块搜索，这显着提高了 NAS 的有效性和效率。

    Nov, 2019

  • 使用神经架构搜索和早期停止的图像分类中的两阶段架构微调

    本文介绍了利用预训练神经网络和基于神经体系结构搜索的两阶段微调概念，使用突变方法和提前终止搜索等策略，实验结果表明我们的方法减少了 32.4％的计算成本和 22.3％的搜索成本。

    Feb, 2022

  • 使用以前未见的神经架构搜索数据集的洞察

    神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

    Apr, 2024

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

    Feb, 2021

  • NAS-Bench-101：面向可重复的神经网络架构搜索

    本文介绍了 NAS-Bench-101，这是第一个公开的神经架构搜索数据集，并描述了它是如何通过在 CIFAR-10 上训练和评估超过 423k 个卷积架构来构建的，旨在帮助研究者在毫秒内查询预计算的数据集来评估各种模型的质量。此外，作者还展示了该数据集作为整体的可用性以及对一系列架构优化算法进行基准测试的实用性。

    Feb, 2019

  • DCNAS：用于语义图像分割的密集连接神经架构搜索

    本研究提出一种名为 Densely Connected NAS (DCNAS) 的神经架构搜索框架，通过连接细胞并使用可学习的权重来引入密集连接的搜索空间，并通过路径和通道级别的抽样策略设计一个融合模块来降低搜索空间的内存消耗。DCNAS 搜索算法得到的体系结构在公共语义图像分割基准测试中的表现显著优于先前算法。

    Mar, 2020

  • 实例感知神经架构搜索

    本文提出了一种基于实例的神经架构搜索方法 InstaNAS，通过搜索一种 “架构分布” 而不是单一的神经架构，确保难以处理的样本使用复杂的神经架构来减少前处理时间，并在搜索空间中验证表明，与 MobileNetV2 相比，在多个数据集上具有相同的准确性和大约 48.8％的前处理时间减少。

    Nov, 2018