L-TUNING：LLM 中的 Prompt 和 Prefix 同步标签调整

Dec, 2023

L-TUNING：LLM 中的 Prompt 和 Prefix 同步标签调整

L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs

Md. Kowsher, Md. Shohanur Islam Sobuj, Asif Mahmud, Nusrat Jahan Prottasha, Prakash Bhat

TL;DR传统方法在对大型语言模型（LLMs）进行任务微调时面临着挑战。这篇论文介绍了一种名为 L-Tuning 的有效微调方法，专为自然语言推理（NLI）框架中的分类任务而设计，通过对预训练 LLM 进行标签令牌的微调，从而改善模型的训练效果和分类准确度，并提高训练效率。

Abstract

Efficiently fine-tuning large language models (LLMs) for specific tasks presents a considerable challenge in natural language processing. Traditional methods, like prompt or prefix tuning, typically rely on arbit

large language models fine-tuning l-tuning classification tasks natural language inference

发现论文，激发创造

P-Tuning v2: 提示调节在规模和任务上可以与微调相媲美

通过优化，使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能，只需调整 0.1%-3% 的参数。

Oct, 2021

优化预训练语言模型加速专题投资

Prompt Tuning 对我们通常用 Pretrained Language Models 进行的多标签文本分类任务有着更好的性能和计算效率。

Sep, 2023

Prompt-Tuning 在使用多语言语言模型进行跨语言理解方面比 Fine-Tuning 更好

本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用 prompt-tuning 进行多语言 NLU 任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning 在跨数据集跨语言传递方面比微调表现更好，而且只需调整 0.1% 到 0.3% 的参数。此外，分析表明，prompt tuning 可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

Oct, 2022

使用 Prompt Tuning 对生成式口语模型进行探索，以处理语音处理任务

本研究首次探讨了基于生成式口语语言模型 (GSLM) 的提示调整范式用于语音处理任务，实验结果表明，与下游精细调整模型相比，提示调整技术使用的可调参数更少，在语音分类任务中实现了较高性能。

Mar, 2022

晚阶段调优：晚期提示可能比诸多提示更好

该研究提出了一种名为 Late Prompt Tuning (LPT) 的 PETuning 方法，它将追加的提示插入到 PTM 的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示，具有更快的训练速度和更低的内存成本，可在全数据和少样本场景下实现与全模型调整和其他 PETuning 方法竞争的性能。

Oct, 2022

模型调整还是提示调整？针对临床概念和关系提取的大型语言模型研究

开发用于大型语言模型的软提示学习算法，研究词干的形状、使用冻结 / 非冻结语言模型进行文字调优、迁移学习和少样本学习的能力。

Oct, 2023

Prefix-Tuning: 优化连续提示用于生成任务

本文提出字首调整 (prefix-tuning)，来解决专用模型使用全量预训练语言模型的空间问题，自动学习小、定制化的向量。通过应用于自然语言生成和文本总结，仅使用 0.1% 的参数即能达到很好的性能。

Jan, 2021

用对比提示调整使预训练语言模型成为端到端的小样本学习模型

CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

Apr, 2022

SLPT：基于限制标签的病变分割的选择性标定与提示调整

使用深度学习进行医学图像分析时，由于有限的标记数据和高昂的注释成本，往往面临挑战。本文提出了一种将选择性标记与提示调整相结合的框架（SLPT），以提高有限标签下的性能，同时保持预训练模型不变，通过仅使用有限标记数据对这些参数进行更新。该框架包括了一个特征感知提示更新器，以引导提示调整，并采用基于提示的不确定性的无监督多样性选择和有监督选择。此外，我们提出了一种多样化的视觉提示调整策略，为选择性标记提供多提示的不同预测。在肝肿瘤分割任务上，我们的方法取得了最先进的性能，仅使用可调参数的 6%，仅标记了 5% 的数据即可达到全数据性能的 94%。

Aug, 2023

无需微调？代码智能中的提示微调实验评估

研究表明预训练模型在很多代码智能任务中具有很好的效果，但由于不同形式的输入难以完全利用预训练模型的知识，这篇论文通过在代码智能任务中进行提示调整，探索它对模型性能和低资源情况的影响，实验表明相对于微调，提示调整在三项代码智能任务中都能实现更好的表现，特别是在低资源情况下表现更为优秀。

Jul, 2022