少即是多：对参数高效微调的木马攻击

Oct, 2023

少即是多：对参数高效微调的木马攻击

Fewer is More: Trojan Attacks on Parameter-Efficient Fine-Tuning

Lauren Hong, Ting Wang

TL;DR参数高效微调 (PEFT) 机制使得能够有效地将预训练语言模型 (PLMs) 适应特定任务。然而，尽管其被广泛使用，PEFT 的安全风险还没有被充分探索。本文通过进行初步研究揭示 PEFT 对特洛伊攻击存在独特的脆弱性。通过双层优化来适应下游任务，我们提出了一种新颖的攻击方式 PETA。通过在各种下游任务和触发器设计上的广泛评估，我们展示了 PETA 在攻击成功率和未受影响的纯净准确性方面的有效性，即使在受害用户使用无污染数据对被植入后门的 PLM 进行 PEFT 后仍然有效。此外，我们基于此理论对 PETA 的效果提供了实证解释：双层优化在本质上 “正交化” 了后门和 PEFT 模块，从而在 PEFT 过程中保留了后门。基于这种理解，我们探索了一种简单的防御方法，即在被植入后门的 PLM 的选定层中省略 PEFT，并解冻这些层的参数子集，结果表明这种方法能够有效地中和 PETA。

Abstract

parameter-efficient fine-tuning (PEFT) enables efficient adaptation of pre-trained language models (PLMs) to specific tasks. By tuning only a minimal set of (extra) parameters, PEFT achieves performance comparabl

parameter-efficient fine-tuning pre-trained language models trojan attacks peta bilevel optimization

发现论文，激发创造

针对参数效率微调的权重污染后门攻击的防御

最近，针对语言模型的各种参数高效微调（PEFT）策略已经被提出并成功应用。然而，这引发了一个问题，即当面临权重污染后门攻击时，PEFT 这种只更新有限模型参数的方法是否构成安全漏洞。本研究表明，与全参数微调方法相比，PEFT 对权重污染后门攻击更加易受攻击，预定义的触发器依然可以被滥用，预定义的目标保持高置信度即使在微调后也是如此。受到这一观察的启发，我们开发了一种基于 PEFT 的有毒样本识别模块（PSIM），通过置信度识别有毒样本，提供了针对权重污染后门攻击的强大防御。具体而言，我们利用 PEFT 来训练 PSIM，并对样本标签进行随机重置。在推理过程中，极高的置信度表明样本受到了污染，而其他样本则干净。我们在文本分类任务、五种微调策略和三种权重污染后门攻击方法上进行了实验。实验结果显示，当使用 PEFT 时，权重污染后门攻击的成功率接近 100%。此外，我们的防御方法在缓解权重污染后门攻击方面表现出整体有竞争力的性能。

Feb, 2024

预训练语言模型的参数高效微调方法：关键评估与考察

预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

Dec, 2023

参数高效迁移学习在机器翻译中的适用条件

本文通过全面实证研究发现，适当的 Tuning 数量的 Parameter-efficient fine-tuning methods，特别是使用了嵌入小型前馈神经网络 (adapters) 的模型，可以在机器翻译 (MT) 任务上达到效果与全模型调整类似的水平，尤其当参数预算为 10％的情况下。但是，当调优参数数量减少时，PEFT 的性能会随之减弱，这一降低幅度取决于语言对的关系，而对于小型数据集，PEFT 的性能优于同样的预训练模型的全模型调整。

May, 2022

X-PEFT：面向极端多个配置的极其参数高效微调

引入 X-PEFT，一种新的参数高效微调方法，通过微调极小的紧凑张量，作为二进制掩码来自适应地选择给定适配器，从而解决适配器数量线性增加的问题，相较于传统的适配器微调，在每个配置文件的内存需求减少了 10000 倍，而在 LaMP 和 GLUE 任务中表现出与传统适配器微调相当或超越的效果。

Jan, 2024

低资源语言翻译的参数高效微调解锁

参数高效微调方法在适应多样化任务的大规模预训练语言模型中变得越来越重要，通过在资源有限的语言机器翻译中提高翻译准确性来实现适应性和计算效率的平衡。通过使用 SacréBLEU 评分，我们进行了具备不同资源和域的全面实证实验，评估了共计 15 种架构的 8 种参数高效微调方法的性能。结果表明，6 种参数高效微调架构在域内和域外测试中均超过了基准线，其中 Houlsby+Inversion 适配器表现最佳，验证了参数高效微调方法的有效性。

Apr, 2024

基于实证分析的 PEFT 技术在 LLM 中的优势和劣势

本文主要介绍了大型语言模型的 fine-tuning 方法 ——parameter-efficient fine-tuning（PEFT），并通过对 FLAN-T5 模型的综合测试和分析，提出了选择 fine-tuning 技术的最佳方法，重点考虑任务类型和数据可用性，同时指出了 PEFT 方法在数据过少的情况下的收敛速度慢的问题，提出了更好的 model optimization 方法。

Apr, 2023

非侵入式调整：面向输入的参数高效微调用于多模态建模

参数效率微调（PEFT）是应对大型语言模型的适应和服务挑战的一种有前景的方法，本研究中描述了一种非侵入式的 PEFT 技术 AdaLink，并在各种任务中与最先进的侵入式 PEFT（LoRA）和全模型微调（FT）相比表现出有竞争力的性能。

Oct, 2023

大型模型的参数高效微调：综合调查

通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

Mar, 2024

软件工程任务中参数高效微调的综合评估

基于预训练模型的参数高效调整方法在软件工程领域的效果与效率的全面评估研究。

Dec, 2023

Context-PEFT: 高效多模态、多任务微调

提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过 LoRA、BitFit 和 IA3 等技术，在几乎不需要可训练参数和 GPU 内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常需要进行架构修改或完全微调。为了解决这个问题，我们提出了 Context-PEFT，它根据令牌的领域学习不同的适配器参数组，这种方法使得可以实现类似 LoRA 的权重注入，而不需要额外的架构修改。我们的方法在 COCO 字幕任务上进行评估，在类似的数据限制下，优于完全微调，并同时提供了更高的参数效率和计算经济性的解决方案。

Dec, 2023