Apr, 2023

使用Prompt-Tuning进行高效跨语言转移学习的对话任务对齐

HTML
PDF
TL;DR本文介绍了XSGD，一个包括105种语言的大规模平行多语种对话数据集，并使用基于prompt-tuning的方法进行对齐，经研究发现，NLI-based分类器以及对齐的prompt可以实现强大和高效的模型能力和大规模的跨语言转移提高，特别是在少样本情况下。
发现论文，激发创造
  • 跨语言迁移学习用于多语言任务导向的对话

    本文讨论了在任务导向的对话系统中如何识别用户意图和相应的插槽，并通过多种跨语言转移方法进行数据集训练比较

    Oct, 2018

  • 跨语言对齐与联合训练：比较研究和简单统一框架

    本文研究了两种多语言文本学习方法，即alignment和joint training，并提出了将这两种方法结合的框架。实验证明，该框架改善了现有方法的局限性，在MUSE双语词汇诱导（BLI）基准测试中性能优于现有方法，并在CoNLL跨语言NER基准测试上产生了最新的结果。

    Oct, 2019

  • 关于单语表示的跨语言转移性

    新颖的跨语言转移学习方法-从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

    Oct, 2019

  • 面向零-shot 跨语言任务驱动对话系统的注意力导向混合语言训练

    该研究提出了Attention-Informed Mixed-Language Training (MLT)方法，用于跨语种任务定向对话系统的零样本适应。该方法通过利用极少的任务相关平行词对来生成代码交换句子，并利用注意层给出的分数提取源单词，最终实现了显著的零-shot适应性能提升。

    Nov, 2019

  • 评估跨语言转移学习方法在多语言对话代理模型中的应用

    本文研究提出了一种通用多语言模型的框架，该框架利用深度学习架构实现语音助手设备的自然语言理解，显著减少了单独开发每种语言模型所需要的努力和维护成本，并在多语种环境下取得了比单语种环境下更好的研究成果。

    Dec, 2020

  • 跨语言中间微调改进对话状态跟踪

    该论文提出了一种在预训练多语言模型之间进行跨语言传递学习的方法，通过中间微调预训练的多语言模型，使其适用于不同但相关的数据和/或任务，以提高对话系统的性能。

    Sep, 2021

  • Multi2WOZ: 一个强大的多语言数据集和面向任务型对话的预训练

    本文介绍了 Multi2WOZ 多语言多领域任务导向对话数据集，并提出了一种用于传输任意下游任务的多语言对话PrLM的新框架，证明了在多数情况下，最佳表现是将（I）针对目标语言的会话专业化与（ii）少次转移结合在一起，并且我们展示了针对目标语言的会话专业化可以实现下游任务的异常样本效率的少次转移。

    May, 2022

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • Prompt-Tuning在使用多语言语言模型进行跨语言理解方面比Fine-Tuning更好

    本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用prompt-tuning进行多语言NLU任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning在跨数据集跨语言传递方面比微调表现更好，而且只需调整0.1%到0.3%的参数。此外，分析表明，prompt tuning可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

    Oct, 2022

  • 通过多语言语言教师软提示提升跨语言自然语言推理

    本文提出一种基于 SoftMV 框架与 Multilingual Verbalizer 的跨语种自然语言推理方法，通过生成软提示的填空式问题和使用双语词典，将原问题与扩增多语言问题的表示对齐到相同的语义空间中，并通过一致性正则化实现在 XNLI 数据集上的最新性能，特别是在少量样本和全量样本跨语种转移的情况下获得显着优于以前方法的结果。

    May, 2023