ICLRJan, 2020

通过参数映射和架构搜索实现快速的神经网络适应

PDF
TL;DR本文提出了基于参数重映射技术的 Fast Neural Network Adaptation (FNA) 方法，该方法可以将已有的高性能网络结构调整为不同的深度、宽度或内核大小，进而实现更高效的神经架构搜索，该方法在 MobileNetV2 的实验中，通过对现有网络进行 FNA 调整，既可用于目标分割任务又可用于目标检测任务，并且在性能上均超过了手动设计和 NAS 的现有网络设计，且其计算成本明显低于 SOTA 的目标分割 /detection NAS 方法 (DPC、Auto-DeepLab 和 DetNAS）。
neural networkssemantic segmentationobject detectionneural architecture searchfast neural network adaptation
发现论文，激发创造
  • FNA++：通过参数映射和架构搜索实现快速网络适应

    本文提出了一种快速网络适应（FNA ++）方法，通过参数转换技术，使种子网络（例如，在 ImageNet 上预训练的网络）的架构和参数可以适应不同深度、宽度或内核大小，从而更加高效地使用神经架构搜索（NAS）用于图像分割和目标检测任务，实验结果表明，FNA ++ 在 MobileNetV2，ResNets 和 NAS 网络上都表现出了很好的泛化能力，并且计算成本显著低于现有的分割和检测 NAS 方法。

    Jun, 2020

  • NAS-FCOS：用于目标检测的快速神经架构搜索

    本研究使用增强学习范式，通过对特定搜索空间的精心设计和策略，高效地搜索出网络结构，提出了一种优化目标检测模型的神经网络架构搜索方法，并在四天内使用 8 V100 GPUs 在 COCO 数据集上取得比 Faster R-CNN、RetinaNet 和 FCOS 等模型更好的性能，充分展示了该方法的有效性。

    Jun, 2019

  • DSNAS: 无需参数微调的直接神经结构搜索

    通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

    Feb, 2020

  • NAS-FCOS: 目标检测架构的高效搜索

    本研究提出了一种效率高的方法，通过针对自动定位简单无锚对象检测器的 FPN 和预测头部进行搜索，使用定制化的强化学习范式，能够在 4 天内使用 8 个 V100 GPU 找到表现最佳的检测架构，并在 COCO 数据集上超过了 Faster R-CNN，Retina-Net 和 FCOS 等现有模型，AP 提升了 1.0％至 5.4％。

    Oct, 2021

  • NetAdaptV2: 带快速超级网络训练和架构优化的高效神经网络架构搜索

    本文提出 NetAdaptV2，通过三项创新工作平衡各个步骤的时间并支持非可微分搜索指标，进而加速神经结构搜索并提高神经网络性能。

    Mar, 2021

  • DetNAS：目标检测中的骨干网络搜索

    本文提出了一种名为 DetNAS 的方法，使用神经结构搜索技术来设计用于目标检测的骨干网络，实验证明通过 DetNAS 搜索得到的网络在 COCO 数据集上的性能要优于手工设计的网络。

    Mar, 2019

  • FMAS: 快速多目标超级网络架构搜索用于语义分割

    FMAS 是一个快速的多目标神经架构搜索框架，用于语义分割。通过在搜索期间对 DeepLabV3 + 结构和预训练参数进行子采样且无需微调，FMAS 显著减少了训练时间，并使用验证数据集的子集进一步降低候选模型的评估时间。最终，只有最终的 Pareto 非支配候选者才使用完整的训练集进行微调。在 PASCAL VOC 2012 数据集上搜索性能更强且计算成本更低的模型时，FMAS 可以快速找到具有竞争力的设计，例如，在仅使用 0.5 GPU 天的时间内，它可以找到一种 DeepLabV3 + 变体，其 FLOPs 和参数分别减少了 10％和 20％，而误差仅增加了不到 3％。我们还在名为 GAP8 的边缘设备上进行搜索，并使用延迟作为指标。FMAS 可以发现比现有体系结构快 2.2 倍的神经网络，MIoU 损失仅为 7.61％。

    Mar, 2023

  • 领域自适应的网络架构搜索

    本文介绍了一种名为神经架构搜索的领域自适应基本框架 (NASDA)，它利用可微分的神经架构搜索来获得领域适应任务的最佳网络架构，并具有神经架构搜索和多核最大平均差异配合的两种新的训练策略，通过实验证明 NASDA 在多个领域适应基准测试中表现出最先进的性能。

    Aug, 2020

  • 可扩展图像识别的可传递架构学习

    本文提出了一种在小数据集上搜索神经网络模型结构并将其转移至大数据集的方法，称为 NASNet，通过设计新的搜索空间并使用调度 DropPath 技术提高了模型在 ImageNet 等数据集上的分类正确率。

    Jul, 2017

  • 一种硬件感知系统，用于加速深度神经网络优化

    本文提出了一个自动且高效地从预训练的超网络中找到针对不同性能度量和硬件配置进行优化的子网络的综合系统，在多个领域中与现有最先进的超网络训练方法无缝配合，展示了如何将新颖的搜索策略与演化算法相结合，加速 ResNet50、MobileNetV3 和 Transformer 的搜索过程，并展示了比最先进的贝叶斯优化 WeakNAS 方法快 8 倍的搜索结果。

    Feb, 2022