Mar, 2024

通过多语言提示翻译进行自然语言推理的跨语言迁移

PDF
TL;DR基于多语言预训练模型，通过提示学习的跨语言转移已显示出有希望的有效性，其中在低资源情景中，从源语言到目标语言的软提示转移到下游任务中。为了有效地转移软提示，我们提出了一个新颖的框架 —— 多语言提示翻译器（MPT），通过引入多语言提示翻译器来适当处理嵌入在提示中的重要知识，同时保留任务知识。在 XNLI 的少样本设置中，MPT 表现出了比基线方法更突出的改进，当转移到与源语言相当不同的语言时，MPT 比普通提示更为突出。
multilingual pre-trained modelscross-lingual transferprompt learninglow-resource scenariomultilingual prompt translator
发现论文，激发创造
  • 通过多语言语言教师软提示提升跨语言自然语言推理

    本文提出一种基于 SoftMV 框架与 Multilingual Verbalizer 的跨语种自然语言推理方法，通过生成软提示的填空式问题和使用双语词典，将原问题与扩增多语言问题的表示对齐到相同的语义空间中，并通过一致性正则化实现在 XNLI 数据集上的最新性能，特别是在少量样本和全量样本跨语种转移的情况下获得显着优于以前方法的结果。

    May, 2023

  • 低资源语言中大型语言模型的少样本跨语言迁移

    将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

    Mar, 2024

  • 零样本跨语言 Prompt 调整的统一多语言 Prompt 传递

    本文提出了一种使用 UniPrompt 的新型模型，其使用单一的多语言 prompt 并且具有语言不可知性，可以显著提高在零样本跨语言设置下的转移性能。

    Feb, 2022

  • 多语言模型的离散和软提示

    本文研究表明，在预训练语言模型中，离散和软提示表现良好，且在多语言情况下性能要优于 finetuning，特别是在跨语言传递和多语言自然语言推断方面。

    Sep, 2021

  • 通过上下文学习提高多语言模型的跨语言可迁移性

    本论文提出了一种新的跨语言转移提示方法 In-CLT, 在源语言和目标语言结合的情况下构建演示例子，证明在多语言基准测试中，这种提示方法不仅可以提高跨语言传递的可行性，而且在推理任务中展现出了显著的性能提升，平均比以前的跨语言转移方法提高了 10 到 20 个百分点，而且还探讨了词汇相似性和预训练语料库之间在跨语言转移缺口方面的关系。

    May, 2023

  • Polyglot Prompt: 多语种多任务 PromptTraining

    本文旨在为多语言学习提供潜在的架构改进，通过开发一种名为 Polyglot Prompting 的学习框架，利用提示方法为不同的语言和任务学习一个统一的语义空间进行多语言多任务基于提示的学习，以实现跨语言的互助和更全面的实验评估，开创了未来多语言研究的新方向。

    Apr, 2022

  • 多任务提示调整实现参数效率转移学习

    我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在 23 个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有 0.035％的特定于任务的参数被调整。

    Mar, 2023

  • 基于提示的微调总是比基本微调更好吗？来自于跨语言理解的洞见

    本文提出 ProFiT 管道，研究 Prompt-Based Finetuning 的跨语言能力，发现在语言理解中 Prompt-Based Finetuning 的效果和适用性优于 Vanilla Finetuning，且在少样本场景下表现出更大的优势。

    Jul, 2023

  • 关于 prompt tuning 在自然语言处理中的可迁移性

    本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

    Nov, 2021

  • m3P: 走向多模多语翻译与多模提示

    通过引入视觉语境作为通用的语言无关表示来促进多语言翻译的方法，该方法利用多模态提示来指导多模态多语言神经机器翻译，在低资源和大规模多语言场景下改善了翻译质量。

    Mar, 2024