Dec, 2023

SimQ-NAS: 同時量化策略與神經架構搜尋

PDF
TL;DR通过使用多目标搜索算法与轻度训练的预测器相结合，我们展示了在准确性、模型大小和延迟等不同性能目标中，我们的方法在 ViT、BERT、BEiT-3 和 ResNet 等转换器和卷积网络的架构上比各自的基准表现更好，特定网络的性能提升在延迟方面最高达到 4.80 倍，在模型大小方面最高达到 3.44 倍，与全量化 INT8 基准相比准确性不降低。
发现论文，激发创造
  • BatchQuant: 鲁棒量化器的量子化全架构搜索

    我们提出了 BatchQuant，这是一种稳健的量化器公式，可在数量少得多的 GPU 小时内训练出一种超过 10^{76} 个量化子网的紧凑超网，并首次无需重新训练即可无缝扩展一次权重共享 NAS 超网以支持任意超低位宽混合精度量化策略的子网。

    May, 2021

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022

  • 联合神经架构搜索和量化

    本文提出了一种名为 JASQ 的方法，将神经网络的架构设计与模型压缩两项任务整合到统一框架中，可在考虑模型大小与性能准确性之间的平衡点上使用多目标进化算法搜索，实现高性能适合移动设备的紧凑神经网络模型。实验结果表明，该方法在搜索架构或仅搜索量化策略时优于现有方法。

    Nov, 2018

  • APQ: 网络架构、剪枝和量化策略联合搜索

    APQ 是一种用于在资源受限的硬件上高效进行深度学习推理的方法，通过联合优化神经架构、修剪策略和量化策略来处理设计空间更大的问题，同时利用全精度准确度预测器向量化至量化准确度预测器以大幅提高样本效率，其在 ImageNet 上的实验结果表明其可以以更低延迟 / 能耗降低 2 倍 / 1.3 倍的前提下获得与项代号 MobileNetV2+HAQ 相当的准确性，并比代号为 ProxylessNAS+AMC+HAQ 的分别优化方法实现更高达 2.3％的准确率，同时大幅减少 GPU 时数和 CO2 排放。

    Jun, 2020

  • 量化感知训练：高性能极低比特架构搜索

    本文提出一种结合网络架构搜索和量化的方法 (OQAT)，通过联合训练网络架构和量化并引入位继承方案来获得更高的量化准确率并在不同位宽下实现了新的最优结果。

    Oct, 2020

  • 关于资源受限硬件平台的神经架构搜索

    提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。

    Oct, 2019

  • 在边缘上的高效深度学习：扩展量化感知的神经架构搜索

    使用基于块的 NAS 方法实现在大规模任务上的量化感知 NAS (INT8 和 FB-MP)，并在 Cityscapes 数据集上展示了显著的结果，找到了比 DeepLabV3 (INT8) 模型小 33%， INT8 模型快 17.6% 的 FB-MP 模型，而不影响任务性能。

    Jan, 2024

  • 卷积神经网络滤波器级别异构压缩学习

    该研究使用神经架构搜索技术将优选算术位宽分配和网络剪枝问题制定为通过搜索满足计算复杂性预算并最大化准确性的配置的神经架构搜索问题，旨在减少计算时间开支。

    Apr, 2019

  • 用神经架构搜索实现快速、精确和轻量级的超分辨率处理

    使用神经架构搜索的多目标方法能够在以 FLOPS 为指标的量化实验中优于现有方法，以在资源受限条件下平衡模型的简单度和修复能力。

    Jan, 2019

  • 可微神经架构搜索进行卷积网络的混合精度量化

    该研究探索了一种新的神经网络压缩方法，通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化，成功地实现了比现有方法更高的压缩率，模型尺寸缩小 21.1 倍或计算量降低 103.9 倍

    Nov, 2018