使用神经架构搜索和早期停止的图像分类中的两阶段架构微调

Feb, 2022

使用神经架构搜索和早期停止的图像分类中的两阶段架构微调

Two-stage architectural fine-tuning with neural architecture search using early-stopping in image classification

Youngkee Kim, Won Joon Yun, Youn Kyu Lee, Soyi Jung, Joongheon Kim

TL;DR本文介绍了利用预训练神经网络和基于神经体系结构搜索的两阶段微调概念，使用突变方法和提前终止搜索等策略，实验结果表明我们的方法减少了 32.4％的计算成本和 22.3％的搜索成本。

Abstract

In many deep neural network (DNN) applications, the difficulty of gathering high-quality data in the industry field hinders the practical use of DNN. Thus, the concept of transfer learning has emerged, which leverages the pretrained knowledge of DNNs trained on large-scale datasets. Th

transfer learning neural architecture search fine-tuning pretrained knowledge cost reduction

发现论文，激发创造

可扩展图像识别的可传递架构学习

本文提出了一种在小数据集上搜索神经网络模型结构并将其转移至大数据集的方法，称为 NASNet，通过设计新的搜索空间并使用调度 DropPath 技术提高了模型在 ImageNet 等数据集上的分类正确率。

Jul, 2017

神经微调搜索用于少样本学习

本研究从神经结构搜索的角度探讨了在 few-shot 识别中如何设计最优的适应策略，包括适配器的排列方式、哪些层保持冻结、哪些层进行微调等，并在 Meta-Dataset 和 Meta-Album 上展示了技术的普适性和最新的性能。

Jun, 2023

神经架构迁移

本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在 11 项基准图像分类任务中证明了其有效性。

May, 2020

可微架构与遗忘搜寻的增量学习

本文提出了一种基于 DARTS 和最先进的增量学习策略的增量学习强基准方法，并将架构搜索的思想扩展到正则化架构遗忘，从而在 RF 信号和图像分类任务中实现性能的显著提升，取得了比现有方法高出 10％的结果。

May, 2022

通过神经架构搜索对预训练语言模型进行结构修剪

基于预训练语言模型和神经架构搜索的结构修剪方法，通过多目标策略实现对子网络的灵活压缩，提高模型效率。

May, 2024

C2FNAS: 用于 3D 医学图像分割的粗到细神经架构搜索

本论文提出了一种从零开始自动搜索 3D 医学图像分割网络的方法 —— 粗 - 细神经网络结构搜索（C2FNAS），该方法通过将搜索过程分解为宏观拓扑和微观细胞操作两个阶段来规避搜索和部署阶段之间的不一致，最后将该方法应用于 10 个公共数据集上获得了最新的实验结果。

Dec, 2019

带有知识蒸馏的分块监督神经网络架构搜索

本文旨在通过将神经体系结构搜索的大搜索空间模块化为块，以确保潜在的候选架构完全训练，从而降低共享参数引起的表示移位并导致对候选项的正确评级，并且从教师模型中提取体系结构知识来指导我们的块搜索，这显着提高了 NAS 的有效性和效率。

Nov, 2019

无需训练的神经架构搜索

本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。

Jun, 2020

AtomNAS：细粒度端到端神经架构搜索

该文章提出了一种细粒度的搜索空间，有效地解决了神经体系结构搜索 (NAS) 中的搜索空间设计问题，其中包括资源感知的架构搜索框架和动态网络收缩技术，可同时进行搜索和训练，并在 ImageNet 上以小的搜索成本取得了最先进的性能。

Dec, 2019

针对三维医学图像分割的可扩展神经体系结构搜索

本文提出了一种神经体系结构搜索 (NAS) 框架，用于自动优化大规模设计空间中的神经体系结构，支持 3D 医学图像分割任务，其优化准确度在基准测试数据集上优于人类设计的 3D U-Net，经过优化的体系结构适用于不同的任务。

Jun, 2019