全球提示细胞：一种便携式控制模块，用于有效提示

Apr, 2023

全球提示细胞：一种便携式控制模块，用于有效提示

Global Prompt Cell: A Portable Control Module for Effective Prompt

Chi Liu, Haochun Wang, Nuwa Xi, Sendong Zhao, Bing Qin

TL;DR本文介绍了一种新型预训练模型调整方法，即 prompt tuning。它将可训练的嵌入插入到第一层的输入中，同时冻结下游任务中的参数。然而，如何训练和合理利用提示嵌入已成为限制 prompt tuning 有效性的一个问题。为了解决这个问题，引入了 Global Prompt Cell (GPC)。GPC 是一种便携式控制模块，用于 prompt tuning，可以在所有编码器层中有选择地保存提示信息。实验结果表明，与 vanilla prompt tuning 相比，在 SuperGLUE 数据集上有 5.8％的改进。

Abstract

As a novel approach to tuning pre-trained models, prompt tuning involves freezing the parameters in downstream tasks while inserting trainable embeddings into inputs in the first layer.However,previous methods have mainly focused on the initialization of prompt embeddings. The question

prompt tuning trainable embeddings global prompt cell encoder layers superglue datasets

发现论文，激发创造

插入并玩：一种控制文本生成的提示调整方法

利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。

Apr, 2024

基于规模的参数高效提示微调技术的强大性

通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相结合，这种方法比 GPT-3 的 few-shot learning 更有效，并且在语言模型规模达到 10 亿以上时，method 的表现与 model tuning 相匹敌，而且具有更好的领域转移鲁棒性。

Apr, 2021

属性控制的对话提示

该论文介绍了一种新颖的基于实例控制代码的提示调整算法来探索其对于对话生成的影响，该算法不同于传统的离散提示和连续提示，可以适应输入变化较大的任务，如开放领域对话生成，并在经典数据集上实验证明其比提示基线更好，而参数却只需用到总计量的 5-6%。

Jul, 2023

XPrompt：探索提示调整的极端

本文提出了一种名为 XPrompt 的新型 Prompt tuning 模型，采用分层结构裁剪方法消除负面的 prompt token 从而优化下游任务的表现，在 SuperGLUE 测试中，在小型模型中能够接近或优于微调方法的性能水平。

Oct, 2022

图神经网络的提示调整

本研究探索了 Graph Prompt 作为预训练 GNN 模型适应下游任务的有效替代方法，通过对下游图形的图形级转换进行任务特定的图形提示来实现，从而实现与微调相当甚至在某些情况下获得显著性能提升。

Sep, 2022

结构化提示调整

本文提出了一种名为 “结构化提示调整” 的简单有效的方法来改进提示调整，并比较了其与标准提示调整的实验结果。该方法通过超级网络生成柔性提示嵌入，可以更灵活地应用于模型设计和单任务、多任务训练环境。实验证明，相比标准提示调整，结构化提示调整在 GLUE 基准测试中得分提升了 + 1.2~1.5 分，并且对学习率的改变不敏感。

May, 2022

动态提示：一种用于提示调整的统一框架

本文提出了一种动态提示策略 (DP) 来优化 LMs 的 prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明 DP 能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

Mar, 2023

使用 Prompt Tuning 对生成式口语模型进行探索，以处理语音处理任务

本研究首次探讨了基于生成式口语语言模型 (GSLM) 的提示调整范式用于语音处理任务，实验结果表明，与下游精细调整模型相比，提示调整技术使用的可调参数更少，在语音分类任务中实现了较高性能。

Mar, 2022

DGL: 文本 - 视频检索的动态全局 - 局部提示调优

我们提出了一个跨模态的动态提示调整方法，使用全局 - 局部注意机制对视频进行建模，通过仅调整 0.67％的参数，我们的方法在 MSR-VTT，VATEX，LSMDC 和 ActivityNet 数据集上优于或与完全微调方法相当。

Jan, 2024

APrompt4EM：增强提示调优通用实体匹配

该研究介绍了一种增强的提示调整框架，用于通用实体匹配中的低资源挑战，包括上下文化软记号提示调整方法和成本效益的信息增强策略。实验结果显示，该方法在低资源实体匹配方面取得了显著的进展。

May, 2024