ACLMay, 2023

通过多语言语言教师软提示提升跨语言自然语言推理

PDF
TL;DR本文提出一种基于 SoftMV 框架与 Multilingual Verbalizer 的跨语种自然语言推理方法，通过生成软提示的填空式问题和使用双语词典，将原问题与扩增多语言问题的表示对齐到相同的语义空间中，并通过一致性正则化实现在 XNLI 数据集上的最新性能，特别是在少量样本和全量样本跨语种转移的情况下获得显着优于以前方法的结果。
cross-lingual natural language inferenceprompt learningmultilingual verbalizerxnlifew-shot and full-shot cross-lingual transfer
发现论文，激发创造
  • 通过多语言提示翻译进行自然语言推理的跨语言迁移

    基于多语言预训练模型，通过提示学习的跨语言转移已显示出有希望的有效性，其中在低资源情景中，从源语言到目标语言的软提示转移到下游任务中。为了有效地转移软提示，我们提出了一个新颖的框架 —— 多语言提示翻译器（MPT），通过引入多语言提示翻译器来适当处理嵌入在提示中的重要知识，同时保留任务知识。在 XNLI 的少样本设置中，MPT 表现出了比基线方法更突出的改进，当转移到与源语言相当不同的语言时，MPT 比普通提示更为突出。

    Mar, 2024

  • 多语言模型的离散和软提示

    本文研究表明，在预训练语言模型中，离散和软提示表现良好，且在多语言情况下性能要优于 finetuning，特别是在跨语言传递和多语言自然语言推断方面。

    Sep, 2021

  • 基于语言模型的半监督学习的可扩展提示生成

    本文提出两种自动设计多种提示并集成自动 verbalizer 的 SSL 方法，其中第一种通过可学习的持续提示令牌使用各种演示示例生成多样化的提示模型，第二种使用不同数量的软提示令牌鼓励语言模型学习不同的提示。通过使用原型 verbalizer 替换手动 verbalizer，在不同的少样本学习设置中获得了最好的平均准确率（73.2％，相对于先前使用手动提示和 verbalizer 的最新 SSL 方法的相对提高 2.52％）。

    Feb, 2023

  • LLMs 中并非所有语言的质量相同：通过跨语言思维提示提高多语言能力

    本研究提出了一种名为跨语言思维提示（XLT）的方法，通过激发跨语言和逻辑推理技能，改善了大语言模型的多语言能力，并在与推理、理解和生成有关的 7 个基准测试中进行了全面的评估，实验结果显示 XLT 不仅显著提高了各种多语种任务的性能，而且还显著减少了不同语言中每个任务平均性能和最佳性能之间的差距。

    May, 2023

  • 语言感知的视觉与语言基础模型软提示

    本文介绍了一种软提示学习的方法，用于 Vision & Language 模型。该方法通过使用第二交叉熵损失来最小化学习的软提示与手工工程提示之间的距离，进而提高模型性能，并能够训练虚拟类。在 11 个数据集上进行的广泛评估表明，该方法显著优于所有先前的软提示工作，并在大多数测试数据集上匹配和超越手工制作提示和 CLIP 的新类准确性。

    Oct, 2022

  • 可扩展的语言模型提示

    提出了一种名为 X-Prompt 的方法，通过引入虚构单词的可扩展词汇表，指导大型语言模型（LLM）完成超越自然语言的任务，使得提示更具描述性，并实现了上下文引导学习及提示增强，从而使其虚构单词可以用于不同的提示上下文，以达到精细的规范。该方法在人类与 LLMs 间构建了通信桥梁，有望实现更高级的交互。

    Dec, 2022

  • 使用掩码记号增强跨语言提示

    本文在多语种场景下探索 Prompting 在跨语言问题中的性能，借助 Universal Prompting 减轻了源语言训练和目标语言推断之间的差异，并提出了一种基于掩蔽标记增强的框架来进一步提高 Prompting 的性能。在 XNLI 任务上，只有每类 16 个英语训练示例的情况下，我们的方法达到了 46.54％的准确性，明显优于 34.99％的 fine-tuning。

    Feb, 2022

  • 元学习和代表性语音化实现有效结构化提示

    本文提出了 MetaPrompter，它使用元学习和软标记器来共同构建任务特定的提示。MetaPrompter 相对于最近的最佳方法表现更好，而 RepVerb 则优于现有的软标记器。

    Jun, 2023

  • 使用 Prompt-Tuning 进行高效跨语言转移学习的对话任务对齐

    本文介绍了 XSGD，一个包括 105 种语言的大规模平行多语种对话数据集，并使用基于 prompt-tuning 的方法进行对齐，经研究发现，NLI-based 分类器以及对齐的 prompt 可以实现强大和高效的模型能力和大规模的跨语言转移提高，特别是在少样本情况下。

    Apr, 2023

  • MetaPrompting：学习生成更好提示信息

    本文提出了一种称为 MetaPrompting 的通用软提示方法，它采用了公认的模型无关元学习算法来自动找到更好的提示初始化，有助于快速适应新的提示任务，并在四个不同的数据集上取得了显著的改进（1-shot 模式下精度提高了超过 6 个百分点），达到了新的最佳性能水平。

    Sep, 2022