Nov, 2019

S2DNAS: 通过神经架构搜索将静态 CNN 模型转换为动态推断

PDF
TL;DR本文介绍了一种基于神经架构搜索的方法，通过将各种静态 CNN 模型转化为支持动态推断的多阶段 CNN 模型，以自适应地调整推断过程来降低深度 CNN 的计算成本。
dynamic inferencecnnneural architecture searchreinforcement learningcomputational cost
发现论文，激发创造
  • DSNAS: 无需参数微调的直接神经结构搜索

    通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

    Feb, 2020

  • 动态神经网络：一项综述调查

    本文综述了动态神经网络在深度学习领域的最新研究进展和主要研究方向，分析了其在计算效率和适应性等方面的优势，总结了架构设计、决策方案、优化技术和应用开发等方面的研究问题以及未来发展的方向。

    Feb, 2021

  • SNAS：随机神经结构搜索

    提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的搜索梯度，优化效果比基于强化学习的 NAS 更高，同时加入局部可分解奖励，以强制实施资源有效约束，最终在 CIFAR-10 数据集上得到了业界领先的准确性。

    Dec, 2018

  • C2FNAS: 用于 3D 医学图像分割的粗到细神经架构搜索

    本论文提出了一种从零开始自动搜索 3D 医学图像分割网络的方法 —— 粗 - 细神经网络结构搜索（C2FNAS），该方法通过将搜索过程分解为宏观拓扑和微观细胞操作两个阶段来规避搜索和部署阶段之间的不一致，最后将该方法应用于 10 个公共数据集上获得了最新的实验结果。

    Dec, 2019

  • MnasNet：面向移动端平台感知的神经结构搜索

    本文提出了一种自动化的移动神经结构搜索（MNAS）方法，该方法将模型延迟明确地纳入主要目标，以便搜索可以识别满足准确性和延迟之间良好平衡的模型， 实验结果表明，该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型，并且实现了更好的 mAP 质量。

    Jul, 2018

  • 通过从数据集学习生成图形实现快速神经架构搜索

    本文提出了一种高效的神经架构搜索（Neural Architecture Search, NAS）框架，基于元学习的跨模态潜空间，结合预训练的网络库和数据库，可以快速地为新数据集搜索神经架构，并且还提出了一种元性能预测器来从多个未见数据集中预估和选择最佳的神经架构。实验结果表明，该模型受过 ImageNet-1K 的元学习并结合 NAS-Bench 201 搜索空间的神经架构，在包括 CIFAR-10 和 CIFAR-100 等多个未见数据集上成功泛化，平均搜索时间为 33 GPU 秒，即使在 MobileNetV3 搜索空间下，它比具有相似性能的可转移 NAS 方法 NSGANetV2 快 5.5K 倍。我们认为这为快速 NAS 和利用累积多年的数据集和架构的知识提出了新的研究方向。

    Jul, 2021

  • 通过参数映射和架构搜索实现快速的神经网络适应

    本文提出了基于参数重映射技术的 Fast Neural Network Adaptation (FNA) 方法，该方法可以将已有的高性能网络结构调整为不同的深度、宽度或内核大小，进而实现更高效的神经架构搜索，该方法在 MobileNetV2 的实验中，通过对现有网络进行 FNA 调整，既可用于目标分割任务又可用于目标检测任务，并且在性能上均超过了手动设计和 NAS 的现有网络设计，且其计算成本明显低于 SOTA 的目标分割 /detection NAS 方法 (DPC、Auto-DeepLab 和 DetNAS）。

    Jan, 2020

  • 神经网络设计的高效自动化：可微分神经架构搜索综述

    该论文综述了 Differentiable Neural Architecture Search (DNAS) 领域的最新进展，提出了一种基于挑战的分类方法，并探讨了 DNAS 对全局神经架构搜索领域的影响和未来研究方向。

    Apr, 2023

  • 自适应增长：实时卷积神经网络层扩展

    基于数据输入，本研究提出了一种新算法，允许卷积神经网络的卷积层在动态环境下进行演化，并无缝地整合到现有的 DNNs 中。通过引入核函数，迭代性地评估图像特征的识别能力，本方法在多个数据集上展示了优于监督方法的表现，并在迁移学习场景中展示了增强的适应性，填补了深度学习中对于动态环境更灵活高效的 DNNs 的空白。

    Sep, 2023

  • 实例感知神经架构搜索

    本文提出了一种基于实例的神经架构搜索方法 InstaNAS，通过搜索一种 “架构分布” 而不是单一的神经架构，确保难以处理的样本使用复杂的神经架构来减少前处理时间，并在搜索空间中验证表明，与 MobileNetV2 相比，在多个数据集上具有相同的准确性和大约 48.8％的前处理时间减少。

    Nov, 2018