软语言提示对语言迁移的影响
本文考察了使用预训练的语言模型进行 Prompt tuning (PT)的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法
Nov, 2021
本文旨在探讨自然语言提示在控制机器翻译模型输出方面的应用，并证明其能够影响输出的正式程度和具体方言等属性。研究还表明，使用语言名称控制多语言翻译模型的输出语言能够使得未见过的语言对之间产生积极的迁移效果,从而能够利用英文名翻译成未经微调的语言。同时，研究了规模、预训练步数、微调语言数量和语言相似度等因素对该现象的影响。
Feb, 2022
本文提出使用软提示的方法将世界知识应用到大型自然语言模型中，通过自监督学习在知识库数据上训练软提示，得到的软知识提示可以被用于提高语言模型在不同知识密集型任务中的性能。
Oct, 2022
本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用prompt-tuning进行多语言NLU任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning在跨数据集跨语言传递方面比微调表现更好，而且只需调整0.1%到0.3%的参数。此外，分析表明，prompt tuning可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。
Oct, 2022
本文提出一种基于 SoftMV 框架与 Multilingual Verbalizer 的跨语种自然语言推理方法，通过生成软提示的填空式问题和使用双语词典，将原问题与扩增多语言问题的表示对齐到相同的语义空间中，并通过一致性正则化实现在 XNLI 数据集上的最新性能，特别是在少量样本和全量样本跨语种转移的情况下获得显着优于以前方法的结果。
May, 2023
本论文提出了一种新的跨语言转移提示方法In-CLT, 在源语言和目标语言结合的情况下构建演示例子, 证明在多语言基准测试中, 这种提示方法不仅可以提高跨语言传递的可行性, 而且在推理任务中展现出了显著的性能提升, 平均比以前的跨语言转移方法提高了10到20个百分点, 而且还探讨了词汇相似性和预训练语料库之间在跨语言转移缺口方面的关系。
May, 2023
本文提出 ProFiT 管道，研究 Prompt-Based Finetuning 的跨语言能力，发现在语言理解中 Prompt-Based Finetuning 的效果和适用性优于 Vanilla Finetuning，且在少样本场景下表现出更大的优势。
Jul, 2023
通过插入可学习的嵌入或软提示到预训练语言模型 (PLM) 的输入层，Soft Prompt Tuning (SPT) 是一种将 PLM 调适到特定任务的参数高效方法，无需修改其参数。本文研究了 SPT 在跨语言传递中的潜力，并通过冻结模型参数并只训练软提示以保持 SPT 的参数高效性，不仅减少了计算成本和存储开销，还证明了这一特性能够增强对语言上远离的语言的跨语言传递性能。此外，我们还探索了与软提示相关的不同因素（如长度或重新参数化）对跨语言传递性能的影响。
Feb, 2024
基于多语言预训练模型，通过提示学习的跨语言转移已显示出有希望的有效性，其中在低资源情景中，从源语言到目标语言的软提示转移到下游任务中。为了有效地转移软提示，我们提出了一个新颖的框架——多语言提示翻译器（MPT），通过引入多语言提示翻译器来适当处理嵌入在提示中的重要知识，同时保留任务知识。在XNLI的少样本设置中，MPT表现出了比基线方法更突出的改进，当转移到与源语言相当不同的语言时，MPT比普通提示更为突出。
Mar, 2024