Feb, 2024

可控扩散语言模型的量化嵌入向量

PDF
TL;DR通过量化任务特定的嵌入空间，提出了一种名为 QE-CDLM 的新方法，以增强生成任务的可控性和稳定性，实现更好的收敛性和轻量级微调。在五项具有挑战性的细粒度控制任务上的实验结果表明，QE-CDLM 在质量和可行性方面优于现有方法，实现了更好的困惑度和轻量级微调。
diffusion language modelscontrollabilityportabilityinference speedquantization
发现论文，激发创造
  • 潜在扩散模型的高效量化策略

    本研究提出了一种高效的量化策略，利用信噪比（SQNR）作为评估指标，将相对量化噪声视为噪声，识别模型中的敏感部分，并提出了既包括全局策略又包括局部策略的高效量化方法。实验结果表明，实施全局和局部策略能够高效地量化并有效地压缩 LDMs。

    Dec, 2023

  • EfficientDM: 高效的低位扩散模型量化感知微调

    提出了一种数据自由且参数高效的优化方法 EfficientDM，它通过引入量化感知的低秩适配器 QALoRA 来实现 QAT 级别的性能与 PTQ 的效率相似，从而优化低位扩散模型的性能，并且在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。

    Oct, 2023

  • Diffusion-LM 提升可控文本生成能力

    本研究提出了一种基于连续扩散的非自回归语言模型 Diffusion-LM，在语言生成的过程中能够通过简单的基于梯度的算法实现复杂的可控生成任务，并成功地应用在六个难度较大的细粒度控制任务之中，表现出优秀的性能。

    May, 2022

  • QuantEase: 基于优化的语言模型量化 -- 一种高效直观的算法

    本研究采用 Coordinate Descent（CD）技术，通过 QuantEase 分层量化框架对 Large Language Models（LLMs）进行后训练量化，包括离群值感知算法，以实现近乎 3 位量化并提高模型性能。

    Sep, 2023

  • 可微分乘积量化用于端到端嵌入压缩

    本文提出了可最小化储存空间的不同产品量化的压缩框架（DPQ），可以作为任何现有嵌入层的替代品，且降低了 14-238 倍的压缩率，以及在三个不同语言任务的 10 个数据集上表现良好。

    Aug, 2019

  • PQLM -- 多语言去中心化便携式量子语言模型用于隐私保护

    本文提出了一种高度可移植的量子语言模型 (PQLM)，它可以在经典计算机上向下游任务轻松传输信息，并演示了在经典计算机上将 PQLM 的词嵌入有效地应用于下游任务。该 PQLM 具有与其经典对应物相当的性能，并为量子预训练语言模型的理论基础奠定了基础。

    Oct, 2022

  • 量子电路与扩散模型综合

    量子计算中的生成机器学习模型和去噪扩散模型在产生期望的量子操作方面具有优势，并在纠缠生成和酉编译等任务中展示出灵活性和潜力。

    Nov, 2023

  • 量化扩散变压器分析

    通过分析扩散变换器中激活和权重量化的挑战，我们提出了一种单步采样校准激活和适应分组量化权重的低比特量化方法，从而在无需任何优化的情况下在纯变换器结构上实现了高效的后量化，我们通过初步的条件图像生成实验展示了所提出方法的效率和有效性。

    Jun, 2024

  • 通过量化实现生成预训练语言模型的压缩

    本文介绍了一种基于量化的压缩生成式语言模型的方法，该方法使用了基于 token 的对比 distillation 技术学习可区分的单词嵌入，并提出了一个基于模块的动态缩放技术，适应不同模块的量化器，实验结果表明该方法在各种任务上性能优于基准方法，并且实现了 14.4x 和 13.4x 的压缩率，与全精度模型具有可比性。

    Mar, 2022

  • QNCD: 扩散模型的量化噪声校正

    我们的研究提出了一种统一的量化噪声校正方案 (QNCD)，旨在减少扩散模型中的量化噪声，消除图像合成中由量化引起的失真。通过消除嵌入到 resblock 模块中的嵌入衍生特征和动态过滤整个去噪过程中的量化偏差积累，我们的方法在 ImageNet 上的 W4A8 和 W8A8 量化设置上实现了无损成果。

    Mar, 2024