EMNLPApr, 2022

Polyglot Prompt: 多语种多任务 PromptTraining

PDF
TL;DR本文旨在为多语言学习提供潜在的架构改进，通过开发一种名为 Polyglot Prompting 的学习框架，利用提示方法为不同的语言和任务学习一个统一的语义空间进行多语言多任务基于提示的学习，以实现跨语言的互助和更全面的实验评估，开创了未来多语言研究的新方向。
multilingual learningpolyglot promptingprompt-based learningmultitask learningnatural language processing
发现论文，激发创造
  • 通过多语言提示翻译进行自然语言推理的跨语言迁移

    基于多语言预训练模型，通过提示学习的跨语言转移已显示出有希望的有效性，其中在低资源情景中，从源语言到目标语言的软提示转移到下游任务中。为了有效地转移软提示，我们提出了一个新颖的框架 —— 多语言提示翻译器（MPT），通过引入多语言提示翻译器来适当处理嵌入在提示中的重要知识，同时保留任务知识。在 XNLI 的少样本设置中，MPT 表现出了比基线方法更突出的改进，当转移到与源语言相当不同的语言时，MPT 比普通提示更为突出。

    Mar, 2024

  • 帮助语言模型学习更多知识：多维任务提示用于少样本调整

    通过提出多维任务提示学习方法（MTPrompt），将更多的任务相关信息嵌入提示中，以激发大型语言模型中嵌入的知识，从而实现在少样本和五个不同数据集上取得最佳结果，并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。

    Dec, 2023

  • 一体化：用于图神经网络的多任务提示

    本文引入了提示方法来弥补预训练模型与各种图形任务之间的差距，并提出了一种新的用于图形模型的多任务提示方法。经过实验，结果表明我们的方法优越性。

    Jul, 2023

  • 机器翻译中的大型语言模型：案例研究

    通过系统研究提示策略，我们填补了机器翻译领域中提示还未得到充分探索的空白区域，证明了使用优质的提示样本能够有效地提高机器翻译的性能。

    Jan, 2023

  • 多任务提示训练实现零样例任务泛化

    通过将广泛多样的监督数据集转换为易读提示集合的方式，使用预先训练的编码器 - 解码器模型进行多任务学习可以直接导致强大的零 - shot 表现，该方法能够在多个标准数据集上表现出比同类模型大多数情况下强 16 倍的性能，并在 BIG-bench 基准测试中的某些任务上表现出比同类型模型强 6 倍的性能。

    Oct, 2021

  • 大语言模型的机器翻译：波斯语，英语和俄语方向的提示工程

    通过研究生成式大型语言模型在机器翻译中的性能，我们发现多语言模型（如 PaLM）在人工翻译输出方面表现出类似人类的水平，能够根据样式指南和语言要求优化所需的翻译细微差别，并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性，我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。

    Jan, 2024

  • TransPrompt v2：跨任务文本分类的可迁移提示框架

    TransPrompt v2 是一种具有传递性的促进框架，用于跨相似或远距离文本分类任务的少样本学习，通过多任务元知识获取 (MMA) 过程和两项去偏技术，该元学习器可以在多个 NLP 任务和数据集上优于单任务和跨任务强基线，并改善预先未见任务上预训练语言模型的性能，同时在使用完整训练集进行学习时也优于强调优基线。

    Aug, 2023

  • m3P: 走向多模多语翻译与多模提示

    通过引入视觉语境作为通用的语言无关表示来促进多语言翻译的方法，该方法利用多模态提示来指导多模态多语言神经机器翻译，在低资源和大规模多语言场景下改善了翻译质量。

    Mar, 2024

  • 零样本跨语言 Prompt 调整的统一多语言 Prompt 传递

    本文提出了一种使用 UniPrompt 的新型模型，其使用单一的多语言 prompt 并且具有语言不可知性，可以显著提高在零样本跨语言设置下的转移性能。

    Feb, 2022

  • 多任务微调实现跨语言通用化

    研究发现多任务 finetuning 可以帮助大型多语言模型成功推广至非英语任务中，并且使用机器翻译英文为前缀可以获得更好的性能，最终实现零 - shot 的结果。

    Nov, 2022