Jul, 2022

无需微调？代码智能中的提示微调实验评估

PDF
TL;DR研究表明预训练模型在很多代码智能任务中具有很好的效果，但由于不同形式的输入难以完全利用预训练模型的知识，这篇论文通过在代码智能任务中进行提示调整，探索它对模型性能和低资源情况的影响，实验表明相对于微调，提示调整在三项代码智能任务中都能实现更好的表现，特别是在低资源情况下表现更为优秀。
发现论文，激发创造
  • P-Tuning v2: 提示调节在规模和任务上可以与微调相媲美

    通过优化，使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能，只需调整 0.1%-3% 的参数。

    Oct, 2021

  • PPT: 预训练提示调整用于少样本学习

    本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

    Sep, 2021

  • Prompt-Tuning 在使用多语言语言模型进行跨语言理解方面比 Fine-Tuning 更好

    本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用 prompt-tuning 进行多语言 NLU 任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning 在跨数据集跨语言传递方面比微调表现更好，而且只需调整 0.1% 到 0.3% 的参数。此外，分析表明，prompt tuning 可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

    Oct, 2022

  • 生成多模态预训练模型的 Prompt 调整

    本文探讨将 Prompt 调参应用于多模态预训练，使用基于生成模型的统一序列到序列的预训练模型，实现轻量级 Prompt 调参，并与微调进行比较，通过实验研究发现 Prompt 调参具有改善鲁棒性的优点，但也存在一些局限性，给出了未来研究的方向。

    Aug, 2022

  • Pro-tuning: 视觉任务统一提示微调

    该论文提出了基于 prompt 调节（Prompt tuning，Pro-tuning）的方法来替代 fine-tuning，适应于各种冻结视觉模型到不同的下游视觉任务。实验结果表明，这种方法在图像分类和密集预测任务方面表现优于 fine-tuning。

    Jul, 2022

  • 参数高效的 Prompt 调整使得神经文本检索器具有广义性和校准性

    本文介绍了一种基于 Prompt tuning 的神经文本检索方法，通过更新其中 0.1% 的参数，能够显著提高检索模型的泛化性能，在额外引入一份包括 87 个主题的来自学术领域的数据集的情况下，证明了这种检索方法的横向主题泛化性强于传统方法。

    Jul, 2022

  • 使用 Prompt Tuning 对生成式口语模型进行探索，以处理语音处理任务

    本研究首次探讨了基于生成式口语语言模型 (GSLM) 的提示调整范式用于语音处理任务，实验结果表明，与下游精细调整模型相比，提示调整技术使用的可调参数更少，在语音分类任务中实现了较高性能。

    Mar, 2022

  • 低资源语义解析的提示微调能力

    本文研究了针对语义分析的提示调整方法，发现在低资源分裂的情况下，提示调整的 T5-xl 能够显著优于其微调和强 GPT-3 和 BART 基线表现。随着模型规模的增大，提示调整的 T5 模型在生成目标表示方面得到了进一步提高。

    Oct, 2021

  • Input-Tuning: 适应冻结预训练模型的不熟悉输入

    本文提出了 input-tuning 的概念，旨在通过 fine-tuning 连续提示和输入表示来更有效地适应陌生的自然语言生成任务输入，实验证明它可以显著且一致地胜过 prompt-tuning。

    Mar, 2022

  • 基于提示调整的语音分类任务 SpeechPrompt v2

    本文提出了 “SpeechPrompt V2” 语音分类的编程框架，该框架在统一的下游任务生成和多个语言的情境下具有高效性并取得了优秀的性能。

    Mar, 2023