Mar, 2023

FMAS: 快速多目标超级网络架构搜索用于语义分割

PDF
TL;DRFMAS 是一个快速的多目标神经架构搜索框架，用于语义分割。通过在搜索期间对 DeepLabV3 + 结构和预训练参数进行子采样且无需微调，FMAS 显著减少了训练时间，并使用验证数据集的子集进一步降低候选模型的评估时间。最终，只有最终的 Pareto 非支配候选者才使用完整的训练集进行微调。在 PASCAL VOC 2012 数据集上搜索性能更强且计算成本更低的模型时，FMAS 可以快速找到具有竞争力的设计，例如，在仅使用 0.5 GPU 天的时间内，它可以找到一种 DeepLabV3 + 变体，其 FLOPs 和参数分别减少了 10％和 20％，而误差仅增加了不到 3％。我们还在名为 GAP8 的边缘设备上进行搜索，并使用延迟作为指标。FMAS 可以发现比现有体系结构快 2.2 倍的神经网络，MIoU 损失仅为 7.61％。
发现论文，激发创造
  • SSS3D: 高效三维语义分割的快速神经网络架构搜索

    SSS3D 是一个快速多目标的 NAS 框架，使用 RandLA-Net 作为超网络，通过权重共用和两阶段搜索，有效地降低了搜索时间，用于寻找计算效率高的 3D 语义场景分割网络。

    Apr, 2023

  • FasterSeg：搜索更快的实时语义分割

    本文提出 FasterSeg 模型，通过神经架构搜索技术在新型多分辨率支路搜索空间上发现了性能卓越、速度更快的语义分割网络，并提出了一种解决低准确性、低延迟困境的方法，同时实现了教师 - 学生蒸馏机制，提高了学生网络的准确性。实验证明了 FasterSeg 的竞争力。

    Dec, 2019

  • MGAS：用于高效和有效的神经网络的多粒度架构搜索

    多粒度架构搜索（MGAS）是一个统一框架，旨在全面且高效地探索多粒度搜索空间以发现既有效又高效的神经网络，并在模型性能和模型大小之间取得更好的平衡。

    Oct, 2023

  • NAS-FCOS：用于目标检测的快速神经架构搜索

    本研究使用增强学习范式，通过对特定搜索空间的精心设计和策略，高效地搜索出网络结构，提出了一种优化目标检测模型的神经网络架构搜索方法，并在四天内使用 8 V100 GPUs 在 COCO 数据集上取得比 Faster R-CNN、RetinaNet 和 FCOS 等模型更好的性能，充分展示了该方法的有效性。

    Jun, 2019

  • 细粒度神经架构搜索

    利用神经架构搜索和细粒化技术提出了一个可以在单个层内使用多种异构操作，甚至可以使用多种基本操作生成组合特征映射的框架。该框架可以通过随机梯度下降方法端到端地训练网络，并优化网络的资源利用效率。在大规模图像分类和图像超分辨率等计算机视觉任务中，该框架通过灵活的操作搜索和通道剪枝实现了最先进的性能。

    Nov, 2019

  • Auto-DeepLab：用于语义图像分割的分层神经架构搜索

    本文通过搜索单元结构和网络结构两个不同的层次来提高图像分割性能，并设计出了一种有效的基于梯度的架构搜索方法，其结果表明，在不进行 ImageNet 预训练的情况下，Auto-DeepLab 可以达到最先进的性能水平。

    Jan, 2019

  • FBNetV5：一次运行多任务神经架构搜索

    FBNetV5 是一种神经架构搜索 (NAS) 框架，旨在为多种视觉任务搜索神经结构，具有更少的计算成本和人力成本。该框架具有包容性和可转移性的简单搜索空间，可独立于目标任务的训练管道进行多任务搜索，并通过单次搜索生成的模型，在图像分类、目标检测和语义分割等三个任务中均超过之前的最新水平。

    Nov, 2021

  • 通过参数映射和架构搜索实现快速的神经网络适应

    本文提出了基于参数重映射技术的 Fast Neural Network Adaptation (FNA) 方法，该方法可以将已有的高性能网络结构调整为不同的深度、宽度或内核大小，进而实现更高效的神经架构搜索，该方法在 MobileNetV2 的实验中，通过对现有网络进行 FNA 调整，既可用于目标分割任务又可用于目标检测任务，并且在性能上均超过了手动设计和 NAS 的现有网络设计，且其计算成本明显低于 SOTA 的目标分割 /detection NAS 方法 (DPC、Auto-DeepLab 和 DetNAS）。

    Jan, 2020

  • MFAS: 多模态融合架构搜索

    本文提出一种新颖的多模态融合架构搜索空间，使用序列模型搜索方法在不同领域和数据集中寻找优化架构，发现表现优异的融合架构，解决了多模态分类问题。

    Mar, 2019

  • MS-NAS: 医学图像分割的多尺度神经架构搜索

    本文提出了一种 Multi-Scale NAS 框架，具有从网络主干到单元操作的多尺度搜索空间和多尺度融合能力，采用部分通道连接方案和两步解码方法来提高计算效率，实验结果表明，MS-NAS 在各种分割数据集上优于现有方法，并实现了 0.6-5.4% mIOU 和 0.4-3.5% DSC 的提高，计算资源消耗减少了 18.0-24.9%。

    Jul, 2020