PEA-Diffusion: 非英文文本到图像生成中的参数高效适配器与知识蒸馏

Nov, 2023

PEA-Diffusion: 非英文文本到图像生成中的参数高效适配器与知识蒸馏

PEA-Diffusion: Parameter-Efficient Adapter with Knowledge Distillation in non-English Text-to-Image Generation

Jian Ma, Chen Chen, Qingsong Xie, Haonan Lu

TL;DR基于知识蒸馏的轻量级参数效率适配器 (PEA) 的训练方法可用于实现非英语文本到图像的生成，并在跨语言文本到图像生成的下游任务中获得重要结果。

Abstract

text-to-image diffusion models are well-known for their ability to generate realistic images based on textual prompts. However, the existing works have predominantly focused on English, lacking support for non-English text-to-image models. The most commonly used translation methods can

text-to-image diffusion models language transfer method parameter-efficient adapter knowledge distillation cross-lingual text-to-image generation

发现论文，激发创造

即插即用扩散蒸馏

我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的 1％的可训练参数，同时还能维持生成图像的视觉逼真度。

Jun, 2024

基于文本的图像到图像翻译的即插即用扩散特征

研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

Nov, 2022

高效参数和适合学生的知识蒸馏

本文提出一种参数高效、学生友好的知识蒸馏方法 PESF-KD，通过更新相对较少的参数，实现高效、充分的知识转移，其中引入了适配器模块，将教师的输出转化为合适平滑度的软标签。实验表明，与在线蒸馏方法相比，PESF-KD 能够显著降低培训成本，同时获得有竞争力的结果。

May, 2022

使用知识蒸馏的语言通用适配器学习实现端到端多语言语音识别

本文提出了一个基于预训练模型的语言通用适配器学习框架，用于端到端的多语言自动语音识别。通过插入特定于语言和语言通用适配器来微调 Wav2Vec 2.0 预训练模型，然后使用在线知识蒸馏来使语言通用适配器学习特定于语言和通用特征，通过利用语言识别器（LID）降低语言信息混淆，进而改善识别准确率，并解决通用多语种 ASR 系统中适配器参数数量随语言数量线性增长的问题，BABEL 数据集上的实验结果验证了所提出框架的有效性，并相比传统的多语种模型取得了 3.3％的绝对误差率的降低。

Feb, 2023

参数高效微调与适配器

该研究介绍了一种新的适应方法，使用 UniPELT 框架作为基础，并添加了 PromptTuning 层，从而在保持竞争力的同时显著减少了可训练参数的数量。该方法利用适配器实现了预训练模型向新任务的有效转移，无需重新训练基础模型参数。通过对三个不同数据集进行评估，研究结果表明，该基于适配器的方法在性能上与全模型微调、DAPT+TAPT 和 UniPELT 策略相当，而需要更少或相同数量的参数。这种参数效率不仅减轻了计算负担，还加快了适应过程。该研究强调了适配器在实现高性能以及显著节约资源消耗方面的潜力，为参数高效微调的未来研究方向提供了有益的提示。

May, 2024

PANDA：有效模型适应的提示转移与知识蒸馏相遇

该研究提出了一种新的度量方法和 PANDA 方法来解决预训练语言模型中的 prompt 转移问题，PANDA 方法使用知识蒸馏技术来迁移源 prompt 中的知识到目标 prompt 中，从而避免源知识的灾难性遗忘。实验证明，该方法在各种 PLM 尺度场景下的性能均优于传统的 prompt 转移方法和模型调参方法。

Aug, 2022

基于扩散的视觉感知中的隐式和显式语言指导

本研究介绍了一种基于隐式和显式语言引导的 IGDP 扩散感知框架，利用大规模视觉 - 语言预训练实现高质量图像生成，同时在语义分割和深度估计等感知任务上取得了有希望的性能。

Apr, 2024

文本朗读口音自适应的参数高效学习

本文采用参数效率学习（PEL）技术，基于最优传输（OT）理论，引入无监督损失来最大化源域和目标域之间的差异，建立一个资源高效的低资源口音自适应文本到语音（TTS）模型，提高 Mandarin 口音自适应的自然度和性能的实验结果证明了该方法的竞争性。

May, 2023

HiPA: 通过高频率推广适应实现一步式文本到图像扩散模型

高频率促进适应（HiPA）是一种参数高效的方法，通过训练一步、低秩适配器来增强先进扩散模型中高频率能力的不足，使其能够在单一步骤中生成高质量图像。与渐进蒸馏相比，HiPA 在一步文本到图像生成中具有更好的性能（FID-5k 在 MS-COCO 2017 上从 37.3 降至 23.8），并具有 28.6 倍的训练加速（108.8 到 3.8 A100 GPU 天），仅需要 0.04％的训练参数（77.4 亿降至 330 万）。

Nov, 2023

BERT 无监督领域自适应的知识蒸馏

利用 BERT 预训练语言模型，结合领域适应性方法和知识蒸馏算法，提出了一种简单而有效的无监督领域适应方法，称为对抗适应与蒸馏，在 30 个领域对跨领域情感分类的任务中取得了最先进的性能。

Oct, 2020