CVPRJun, 2021

HR-NAS: 使用轻量级 Transformer 搜索高效高分辨率神经结构

PDF
TL;DR本项研究提出了一种名为 HR-NAS 的新型神经结构搜索方法，采用多分辨率特征编码和轻量级 transformer 来动态产生网络架构，并通过高分辨率肢体姿态分割、目标检测和图像分类等密集预测任务的实验结果证明其能够在小的计算预算下实现最先进的性能和 FLOPs 折衷。
high-resolution representationsneural architecture searchmultiscale contextual informationconvolutional encodingfine-grained search strategy
发现论文，激发创造
  • HM-NAS: 基于分层掩膜的高效神经架构搜索

    本文介绍了一种称为 HM-NAS 的高效神经结构搜索方法，它通过引入多级结构编码方案和自动学习的层次掩码方案来实现更加灵活、优化的高级神经网络结构搜索，相比现有的基于权重共享的方法，HM-NAS 在体系结构搜索性能和模型评估准确性方面都有了明显的提高。

    Aug, 2019

  • 使用块智能自监督神经架构搜索探索混合 CNN 转换器

    本文提出了 Block-wisely Self-supervised Neural Architecture Search (BossNAS) 方法，包括定义可搜索的 CNN-transformer 混合结构搜索空间 HyTra、以及新型自监督训练策略 ensemble bootstrapping。在此挑战性的搜索空间上，作者搜索得到的模型 BossNet-T 在 ImageNet 上可达到 82.5% 的准确率，且在 MBConv 和 NATS-Bench 大小的搜索空间上均有较高的最优架构效果。

    Mar, 2021

  • 单图像超分辨率的分层神经架构搜索

    提出了一种基于 Hierarchical Neural Architecture Search (HNAS) 的方法来自动设计计算成本不同的高级 SR 架构，同时考虑性能与计算成本来指导搜索过程，实验表明该方法在性能上优于现有方法。

    Mar, 2020

  • HourNAS: 透过沙漏镜头的极速神经架构搜索

    我们提出了一种基于沙漏启发式方法的神经架构搜索算法，该算法能通过识别关键块并将其优先考虑，从而快速搜索出网络架构，同时保持准确性，并且在计算资源的限制下，进一步缩小了搜索空间，获得了 77.0％的 Top-1 准确率，超过了最先进的方法。

    May, 2020

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • 高效资源神经网络架构

    提出了一种使用策略网络进行网络嵌入的强化学习的资源有效型神经架构搜索方法，可以在计算资源受限制的情况下获得高性能的神经网络结构，并在图像识别和关键词识别问题上实现了先进的性能。

    Jun, 2018

  • 三层级神经架构搜索用于高效单图像超分辨率

    本文提出了一种新颖的三层神经架构搜索方法，通过使用新的 sparsestmax 技术和排序技术，使得搜索过程更加高效，可同时进行搜索和训练，从而达到更好的性能表现，并在基准数据集上的综合评估显示本方法在模型大小、性能和效率之间达到了良好的平衡，并取得了明显的超越。

    Jan, 2021

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

    Feb, 2021

  • HNAS-reg：用于可变形医学图像配准的分层神经架构搜索

    这篇论文提出了一个层次化的 NAS 框架（HNAS-Reg），通过卷积操作搜索和网络拓扑搜索，寻找最优网络结构用于可变形医学图像配准，实验证实该方法相比传统方法和两种无监督学习方法，在配准准确性和模型大小方面有明显的改进。

    Aug, 2023