AAAINov, 2019

面向零 - shot 跨语言任务驱动对话系统的注意力导向混合语言训练

PDF
TL;DR该研究提出了 Attention-Informed Mixed-Language Training (MLT) 方法，用于跨语种任务定向对话系统的零样本适应。该方法通过利用极少的任务相关平行词对来生成代码交换句子，并利用注意层给出的分数提取源单词，最终实现了显著的零 - shot 适应性能提升。
发现论文，激发创造
  • 可转移潜变量的零 - shot 跨语言对话系统

    本文针对零资源的多语言任务导向对话系统进行零样本自适应的提出，使用极少量的平行语词来优化对齐的跨语言词级表示，并采用潜变量模型处理不同语言间类似句子的变化，实验表明，我们的模型在零样本情况下对自然语言理解任务的适应性优于当前最先进的模型。

    Nov, 2019

  • CrossAligner & Co: 面向任务的跨语言自然语言理解的零 - shot 传递方法

    CrossAligner 是一种实现零 - shot 跨语言传递任务知识的有效方法，利用未标记并行数据进行学习对齐，其细调语言模型优于预期。

    Mar, 2022

  • 具有任务特定注意力机制的多语言神经机器翻译

    我们提出了针对多种源语言和目标语言翻译的任务特定的注意力模型，旨在改进序列到序列神经机器翻译的质量。我们在欧洲议会语料库的四种语言上进行的实验表明，使用目标语言特定的注意力模型相对于参数共享模型提供了一致的翻译质量的提升，甚至在低资源的零 - shot 翻译方向上也观察到了翻译质量的改善。

    Jun, 2018

  • 跨语言迁移学习用于多语言任务导向的对话

    本文讨论了在任务导向的对话系统中如何识别用户意图和相应的插槽，并通过多种跨语言转移方法进行数据集训练比较

    Oct, 2018

  • 跨语言中间微调改进对话状态跟踪

    该论文提出了一种在预训练多语言模型之间进行跨语言传递学习的方法，通过中间微调预训练的多语言模型，使其适用于不同但相关的数据和 / 或任务，以提高对话系统的性能。

    Sep, 2021

  • 零样本跨语言图像检索与标记

    本论文探讨采用跨语言预训练的零样本方法来学习多模态表示，提出建立跨语言图像检索模型的简单实用方法，并引入了一种新的目标函数来测试多语言 MSCOCO2014 字幕测试数据集（XTD10）的零样本模型性能，证明跨语言模型可用于零样本的下游任务， 如多语言图像标记。

    Sep, 2021

  • 零样本双向机器翻译

    本研究提出了一种基于无监督学习和半监督学习的组合方法，将双重学习与零样本学习相结合，通过加强翻译任务的对偶性，并且只需要被翻译成的单一语言的单语数据，来优化机器翻译质量，结果表明该方法在零样本条件下英语、西班牙语和法语三者之间，取得了较传统 NMT 系统更好的翻译表现。

    May, 2018

  • 无平行语料的零样本跨语言迁移

    通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

    Oct, 2023

  • 无监督跨语言适应：序列标注和更多

    研究了零样本学习和基于翻译的方法在预训练语言模型（mPTLMs）的跨语言适应性中的应用，提出了一种新的框架来整合这两种方法，通过定制一个预热机制来快速更新 mPTLMs，应用于细化的参数上进行跨语言适应性的实验结果表明，我们的方法有助于各种序列标注任务的跨语言适应性。

    Oct, 2020

  • 零样本跨语言图像检索

    该论文介绍了一种使用跨语言预训练进行零 - shot 学习的多模式语言和视觉问题解决方法，它可以用于构建跨语言图像检索模型和改进文本嵌入聚类，并在多语言环境下进行评估。

    Nov, 2020