Jun, 2020

FNA++：通过参数映射和架构搜索实现快速网络适应

PDF
TL;DR本文提出了一种快速网络适应（FNA ++）方法，通过参数转换技术，使种子网络（例如，在 ImageNet 上预训练的网络）的架构和参数可以适应不同深度、宽度或内核大小，从而更加高效地使用神经架构搜索（NAS）用于图像分割和目标检测任务，实验结果表明，FNA ++ 在 MobileNetV2，ResNets 和 NAS 网络上都表现出了很好的泛化能力，并且计算成本显著低于现有的分割和检测 NAS 方法。
deep neural networkssemantic segmentationobject detectionneural architecture searchfast network adaptation
发现论文，激发创造
  • 通过参数映射和架构搜索实现快速的神经网络适应

    本文提出了基于参数重映射技术的 Fast Neural Network Adaptation (FNA) 方法，该方法可以将已有的高性能网络结构调整为不同的深度、宽度或内核大小，进而实现更高效的神经架构搜索，该方法在 MobileNetV2 的实验中，通过对现有网络进行 FNA 调整，既可用于目标分割任务又可用于目标检测任务，并且在性能上均超过了手动设计和 NAS 的现有网络设计，且其计算成本明显低于 SOTA 的目标分割 /detection NAS 方法 (DPC、Auto-DeepLab 和 DetNAS）。

    Jan, 2020

  • NAS-FCOS：用于目标检测的快速神经架构搜索

    本研究使用增强学习范式，通过对特定搜索空间的精心设计和策略，高效地搜索出网络结构，提出了一种优化目标检测模型的神经网络架构搜索方法，并在四天内使用 8 V100 GPUs 在 COCO 数据集上取得比 Faster R-CNN、RetinaNet 和 FCOS 等模型更好的性能，充分展示了该方法的有效性。

    Jun, 2019

  • NAS-FCOS: 目标检测架构的高效搜索

    本研究提出了一种效率高的方法，通过针对自动定位简单无锚对象检测器的 FPN 和预测头部进行搜索，使用定制化的强化学习范式，能够在 4 天内使用 8 个 V100 GPU 找到表现最佳的检测架构，并在 COCO 数据集上超过了 Faster R-CNN，Retina-Net 和 FCOS 等现有模型，AP 提升了 1.0％至 5.4％。

    Oct, 2021

  • DSNAS: 无需参数微调的直接神经结构搜索

    通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

    Feb, 2020

  • NAS-FPN：学习可扩展的特征金字塔架构用于目标检测

    本文介绍了使用神经架构搜索方法学习目标检测特征金字塔网络的新架构 NAS-FPN。NAS-FPN 采用自下而上和自上而下的连接方式，通过结合 RetinaNet 框架中的各种骨干模型，相比当前最先进的目标检测模型，在精度和延迟的交易方面取得更好的效果。NAS-FPN 在移动检测精度方面比 [32] 中的最先进的 SSDLite with MobileNetV2 模型提高 2 个方差值，并以更少的计算时间实现了 48.3 的检测精度，超过了 Mask R-CNN [10] 的检测精度。

    Apr, 2019

  • FMAS: 快速多目标超级网络架构搜索用于语义分割

    FMAS 是一个快速的多目标神经架构搜索框架，用于语义分割。通过在搜索期间对 DeepLabV3 + 结构和预训练参数进行子采样且无需微调，FMAS 显著减少了训练时间，并使用验证数据集的子集进一步降低候选模型的评估时间。最终，只有最终的 Pareto 非支配候选者才使用完整的训练集进行微调。在 PASCAL VOC 2012 数据集上搜索性能更强且计算成本更低的模型时，FMAS 可以快速找到具有竞争力的设计，例如，在仅使用 0.5 GPU 天的时间内，它可以找到一种 DeepLabV3 + 变体，其 FLOPs 和参数分别减少了 10％和 20％，而误差仅增加了不到 3％。我们还在名为 GAP8 的边缘设备上进行搜索，并使用延迟作为指标。FMAS 可以发现比现有体系结构快 2.2 倍的神经网络，MIoU 损失仅为 7.61％。

    Mar, 2023

  • NetAdaptV2: 带快速超级网络训练和架构优化的高效神经网络架构搜索

    本文提出 NetAdaptV2，通过三项创新工作平衡各个步骤的时间并支持非可微分搜索指标，进而加速神经结构搜索并提高神经网络性能。

    Mar, 2021

  • DetNAS：目标检测中的骨干网络搜索

    本文提出了一种名为 DetNAS 的方法，使用神经结构搜索技术来设计用于目标检测的骨干网络，实验证明通过 DetNAS 搜索得到的网络在 COCO 数据集上的性能要优于手工设计的网络。

    Mar, 2019

  • 基于可微分神经架构搜索的硬件感知高效卷积神经网络设计：FBNet

    通过使用梯度的基础方法优化 ConvNet 结构，避免像以前的方法一样枚举并分别训练个别结构，我们提出了一个可微分的神经结构搜索（DNAS）框架。FBNets 是通过 DNAS 发现的模型族，其在设计和生成自动模型方面均超过手动设计的最新模型，并在移动设备上获得更高的准确性和更低的延迟。

    Dec, 2018

  • DCNAS：用于语义图像分割的密集连接神经架构搜索

    本研究提出一种名为 Densely Connected NAS (DCNAS) 的神经架构搜索框架，通过连接细胞并使用可学习的权重来引入密集连接的搜索空间，并通过路径和通道级别的抽样策略设计一个融合模块来降低搜索空间的内存消耗。DCNAS 搜索算法得到的体系结构在公共语义图像分割基准测试中的表现显著优于先前算法。

    Mar, 2020