Mar, 2024

使用低秩适配器从视觉基础模型进行混合精度 Supernet 训练

PDF
TL;DR对于大型和高性能的视觉基础模型（Vision Foundation Models，VFMs）进行任意位操作（BitOPs）的压缩，以在各种硬件上部署。我们提出了将 VFM 微调为混合精度量化超网络的方法，该超网络进行神经架构搜索（NAS），可以训练超网络，然后可以提取在任意硬件预算内的子网络。针对现有方法在优化混合精度搜索空间和训练过程中产生大量内存开销方面的困难，我们首先通过比较不同操作符（如分辨率、特征大小、宽度、深度和位宽）的性能和 BitOPs 减少来研究微调 VFM 的有效搜索空间设计。其次，我们提出了一种使用低秩适配器（LoRA）和渐进训练策略的内存高效超网络训练方法。该方法在最近提出的 VFM（Segment Anything Model）上进行了评估，并在分割任务上微调。搜索出的模型在不降低性能的情况下减少了约 95% 的 BitOPs。
vision foundation modelsbit-wise operationsmixed-precision quantized supernetneural architecture searchsegmentation tasks
发现论文，激发创造
  • FQ-ViT: 完全量化视觉 Transformer 的后训练量化

    本研究开发了基于 Power-of-Two Factor（PTF）和 Log-Int-Softmax（LIS）的技术来简化全量化视觉 Transformer 的推理复杂度，并应用于各种基于 Transformer 的体系结构和基准测试中，以达到更高的性能。

    Nov, 2021

  • 利用视觉基础模型，高效训练小型任务专用模型

    利用大型视觉基础模型（VFMs）通过在庞大数据集上预训练，以及在有限标记的目标数据下展现出优异性能的情况下，提出了一种简单高效的面向任务的知识迁移方法，用于对小型任务特定模型进行有效训练。实验结果表明，该方法在有限标记数据的情况下，在四个目标任务上的性能优于面向任务无关的 VFM 蒸馏、Web 规模 CLIP 预训练和监督式 ImageNet 预训练，分别提升了 1-10.5%、2-22% 和 2-14%。研究还指出了用于知识迁移的数据集对最终目标任务性能的显著影响，并提出了基于图像检索的方法来筛选有效的迁移集。

    Nov, 2023

  • MPTQ-ViT：VisionTransformer 的混合精度后训练量化

    提出了 SmoothQuant with bias term (SQ-b) 和 optimal scaling factor ratio search (OPT-m) 方法以及一种多精度后训练量化框架 (MPTQ-ViT)，在 ImageNet 数据集上进行的实验表明，与现有方法相比，所提方法在 4 位和 5 位量化的 ViTs 上均取得了显著的准确度提高。

    Jan, 2024

  • BatchQuant: 鲁棒量化器的量子化全架构搜索

    我们提出了 BatchQuant，这是一种稳健的量化器公式，可在数量少得多的 GPU 小时内训练出一种超过 10^{76} 个量化子网的紧凑超网，并首次无需重新训练即可无缝扩展一次权重共享 NAS 超网以支持任意超低位宽混合精度量化策略的子网。

    May, 2021

  • 为高效嵌入式推断发现接近全精度网络的低精度网络

    通过调整激活函数范围并使用精细调整的预训练模型来组合简单技术，可以发现与 fp32 模型接近的低精度模型，同时提高了效率，本文证明了 4 位精度足以进行分类。

    Sep, 2018

  • 运用视觉基础模型在立体匹配中的优势

    该研究是首次探索一种可行的方法，将 VFMs 适应于立体匹配，并通过将 ViTAS 与基于代价体积的立体匹配后端处理相结合，在 KITTI Stereo 2012 数据集上取得了最高排名，并以误差像素比例方面优于次优网络 StereoBase 约 7.9％，3 个像素误差容差。在各种情境的附加实验进一步证明了其与所有其他最先进方法相比的卓越通用性。我们相信这种新范式将为下一代立体匹配网络铺平道路。

    Apr, 2024

  • 如何为语义分割基础模型进行基准测试？

    最近的视觉基础模型在各种任务中展示了高效性，但需要有监督的精调才能有效地执行语义分割任务。本文的主要目标是研究如何对视觉基础模型进行语义分割的基准测试，通过在不同设置下对各种模型进行细调并评估各个设置对性能和训练时间的影响，提出了建议的基准测试设置，以评估视觉基础模型的性能。

    Apr, 2024

  • 高效提取边缘应用的 LLM

    MLFS 是一种能够通过多级低秩微调超级变压器实现参数高效的超网络训练方法，可产生适用于商业边缘应用的高质量编码器模型，并可通过对解码器进行切片来显著减少训练时间。

    Apr, 2024

  • FMAS: 快速多目标超级网络架构搜索用于语义分割

    FMAS 是一个快速的多目标神经架构搜索框架，用于语义分割。通过在搜索期间对 DeepLabV3 + 结构和预训练参数进行子采样且无需微调，FMAS 显著减少了训练时间，并使用验证数据集的子集进一步降低候选模型的评估时间。最终，只有最终的 Pareto 非支配候选者才使用完整的训练集进行微调。在 PASCAL VOC 2012 数据集上搜索性能更强且计算成本更低的模型时，FMAS 可以快速找到具有竞争力的设计，例如，在仅使用 0.5 GPU 天的时间内，它可以找到一种 DeepLabV3 + 变体，其 FLOPs 和参数分别减少了 10％和 20％，而误差仅增加了不到 3％。我们还在名为 GAP8 的边缘设备上进行搜索，并使用延迟作为指标。FMAS 可以发现比现有体系结构快 2.2 倍的神经网络，MIoU 损失仅为 7.61％。

    Mar, 2023

  • 一种适用于所有的 QuantLLM: 为高效部署而进行的量化 LLM 微调

    利用一次训练的一揽子模型，通过去耦合共享权重、使用低秩适配器、调节采样率等方式，减少大型语言模型的内存需求和训练时间，同时保持高性能。

    May, 2024