ECCVNov, 2020

PAMS: 参数化最大缩放量量化超分辨率

PDF
TL;DR本研究提出了一种基于可训练的截断参数的量化方案 PAMS，通过引入结构化知识转移（SKT）损失对量化网络进行微调，实现了超分辨率模型的压缩和加速，并实现了新的 PSNR 记录。
super-resolutionneural networksquantizationparameterized max scalestructured knowledge transfer
发现论文，激发创造
  • 全量化图像超分辨率网络

    针对模型量化与 SR 网络训练中的两个困难，本文提出了一种全量化图像超分辨率框架（FQSR）来同时优化效率和精度，并在多个主流 SR 构架上应用，实验表明与全精度 SR 方法相比，FQSR 具有相同的性能和较低的计算成本。

    Nov, 2020

  • CADyQ: 内容感知动态量化图像超分辨率

    本文提出一种新型动态压缩方法 (CADyQ) 来优化图像超分辨率神经网络中由于量化引起的计算过于复杂的问题，通过在根据输入图像局部区域和图层进行自适应位宽和量化级别分配的可训练比特选择器模块中引入量化敏感性评估，以实现高平均位减少和更小的精度损失。

    Jul, 2022

  • 基于锚点的移动端图像超分辨率普通网络

    本文研究高效图像超分辨率算法的 8 位量化，提出了一种适用于移动设备的基于锚点神经网络的算法，并采用定量化训练策略，使该模型在保证性能的情况下可以胜过当前同类算法。

    May, 2021

  • 用于超低精度超分辨率网络的动态双可训练边界

    本文提出了一种新的激活量化方法 - 动态双可训练界（DDTB），以解决超低精度（例如 2 位和 3 位）SR 模型在使用低成本层面量化器进行量化时所遇到的性能下降困境，该方法通过针对激活的不对称性做出创新，并且使用动态门控器运行时自适应地调整上下界以克服不同样例的激活范围巨大变化问题。

    Mar, 2022

  • 克服图片超分辨率网络中的分布不匹配问题

    量化是减少图像超分辨率（SR）网络高计算复杂度的一种有前途的方法，然而，与图像分类等高级任务相比，低位量化会导致 SR 网络的严重准确性损失。本文提出了一种新的量化感知训练框架 ODM，该框架有效地解决了 SR 网络中的分布不匹配问题，并且不需要动态自适应。该算法通过直接在训练过程中正则化特征的方差来减少不匹配，同时还引入了分布偏移以进一步减小分布不匹配问题。实验结果表明，ODM 在减少分布不匹配问题方面比现有的 SR 量化方法表现更好，计算开销也更少，这表明减小分布不匹配问题的重要性。

    Jul, 2023

  • 稀疏卷积神经网络的聚焦量化

    本文提出一种基于二次幂值的、专注于稀疏 CNN 的量化策略，并结合无损编码构建一种高压缩比、计算成本低、准确率几乎无损的压缩管线，在 ResNet-50 网络上实现 18.08x CR 的压缩效果，同时也证明更硬件有效。

    Mar, 2019

  • Q-S5：朝向量化状态空间模型

    探索量化对 S5 模型的影响以及将其部署到边缘和资源受限平台的有效性。使用量化感知训练（QAT）和事后量化（PTQ）系统评估了 SSM 在不同任务上的量化灵敏度，研究结果表明，循环权重低于 8 位精度时，大多数任务的性能显著下降，而其他组件可以进一步压缩而不会引起显著的性能损失。此外，研究还发现 PTQ 在基于语言的任务上表现良好，而其他任务则需要 QAT。该研究为高效和硬件优化的 SSM 的持续发展提供了必要的见解。

    Jun, 2024

  • 针对 2 比特量化神经网络 (QNN) 填补准确率差距的研究

    本研究提出了一种针对权重和激活值分别进行的深度学习量化技术，该技术结合了权重量化方案 SAWB 和激活量化技术 PACT，在多个模型和数据集上实现了媲美全精度网络的最新分类精度。

    Jul, 2018

  • DAQ: 深度图像超分辨率网络通道分布感知量化

    提出了一种基于分布感知的量化方案（DAQ）用于超低精度的训练无需的神经网络量化，可以减少图像超分辨率的计算成本，并超越目前最先进的图像超分辨率网络。

    Dec, 2020

  • 走向无剪裁量化超分辨率网络：如何驯服代表性图像

    利用提出的剪辑无关量化流程 (CFQP) 来调整代表性数据集 (RD) 图像，成功地消除非期望的剪辑激活层，从而提高稳定性、减少推理运行时间并获得更好的视觉质量结果，而无需使用剪辑激活进行重训练。

    Aug, 2023