CVPRMar, 2019

神经架构搜索中速度 / 精度平衡的部分排序修剪

PDF
TL;DR提出了一种名为 Partial Order Pruning 的自动体系结构搜索算法，该算法可提供具有最佳速度和准确度折衷的搜索网络的更好的速度 / 准确度折衷，此算法明确考虑了目标平台上推理速度的概要信息，通过搜索解码器体系结构，得到了 DF-Seg 实时分割网络，在目标嵌入式设备和高端 GPU 上提供了最先进的速度 / 准确度折衷。
automatic architecture searchpartial order pruningspeed/accuracy trade-offinference speedreal-time segmentation
发现论文，激发创造
  • 通过神经架构搜索对预训练语言模型进行结构修剪

    基于预训练语言模型和神经架构搜索的结构修剪方法，通过多目标策略实现对子网络的灵活压缩，提高模型效率。

    May, 2024

  • ASAP: 体系结构搜索，降温和裁剪

    该论文提出了一种不同 iable 的搜索空间方法，可以通过逐渐修剪较差的操作，实现体系结构权重的退火，从而以连续的方式收敛到单个输出网络，实验表明该方法在视觉数据集上具有较高的准确性和较低的搜索成本。

    Apr, 2019

  • Archtree: 基于实时树结构探索的深度神经网络低延迟裁剪

    Archtree 是一种新的基于延迟驱动的 DNN 结构修剪方法，通过并行地在树形结构中探索多个候选修剪子模型，实时估计目标硬件的延迟，从而更好地适应延迟预算并保持原始模型准确性。

    Nov, 2023

  • 通过双层数据修剪实现高效的架构搜索

    提出一种基于 Bi-level Data Pruning (BDP) 范式的新型神经架构搜索优化方法，通过逐步修剪不适合的样本来降低搜索成本，并实现超过 50% 的性能提升。

    Dec, 2023

  • APQ: 网络架构、剪枝和量化策略联合搜索

    APQ 是一种用于在资源受限的硬件上高效进行深度学习推理的方法，通过联合优化神经架构、修剪策略和量化策略来处理设计空间更大的问题，同时利用全精度准确度预测器向量化至量化准确度预测器以大幅提高样本效率，其在 ImageNet 上的实验结果表明其可以以更低延迟 / 能耗降低 2 倍 / 1.3 倍的前提下获得与项代号 MobileNetV2+HAQ 相当的准确性，并比代号为 ProxylessNAS+AMC+HAQ 的分别优化方法实现更高达 2.3％的准确率，同时大幅减少 GPU 时数和 CO2 排放。

    Jun, 2020

  • 基于可转换架构搜索的网络剪枝

    本文提出了一种新的网络剪枝方法，通过神经结构搜索直接搜索灵活的通道和层大小， 最小化剪枝网络的失误实现通道和层大小的学习，提高了传统的网络剪枝方法， 并有效地区别了不同搜索和知识转移方法的效果。

    May, 2019

  • XNAS: 带有专家建议的神经结构搜索

    本文提出了一种新颖的基于预测理论的微分神经结构搜索优化方法，其优化标准很适合于架构选择，即最小化次优操作选择所产生的遗憾。我们的方法动态地清除劣质结构并增强优秀结构，它获得了最优最坏情况遗憾的较佳性能，并建议使用基于反向梯度携带信息量的多个学习速率。该算法在多个图像分类数据集上均获得了强大的性能，具体而言，在移动设置下 CIFAR-10 达到 1.6％的错误率，ImageNet 达到 24％的错误率，并在另外三个数据集上实现了最新的研究成果。

    Jun, 2019

  • 延迟感知的可微神经架构搜索

    通过在优化中添加可微延迟损失项，使搜索过程能够在准确性和延迟之间进行权衡，并通过延迟预测的核心来实现，该核心将每个网络架构编码并馈送到多层回归器中。我们的方法能够降低 20％的延迟同时保持准确性，且易于转移到其他硬件平台或其他不能微分的因素上进行优化。

    Jan, 2020

  • NPAS：一种面向编译器的统一网络剪枝和架构搜索框架，用于超越实时移动加速

    该研究提出了一种针对各种 DNN 层的精细结构修剪通用类别，并支持不同 DNN 和不同修剪方案的综合编译自动代码生成框架，进一步提出了一个编译器感知的网络修剪与架构搜索（NPAS) 方法，利用基于强化学习的元模型过程解决大规模搜索空间问题，以获得比先前工作更好的手机图像分类性能。

    Dec, 2020

  • 离散感知的架构搜索

    本篇论文提出了一种基于唯一拓扑目标的离线训练过程，以大大减少离散化过程中的不准确性，并针对未曾研究的非平衡目标网络配置进行了实验证明其优越性。

    Jul, 2020