EMNLPAug, 2018

XL-NBT: 跨语言神经信念跟踪框架

PDF
TL;DR本研究旨在通过预训练源语言状态追踪器为教师并将其知识传递到目标语言的学生状态追踪器以实现跨语言支持。使用双语语料库或双语字典作为基础，设计不同的转移学习策略以实现任务导向的对话系统。在英语状态跟踪器为教师的情况下，将其知识传递到意大利语和德语跟踪器中，取得了很好的实验效果。
发现论文，激发创造
  • 神经信念跟踪器：基于数据的对话状态跟踪

    提出了一种利用预训练词向量进行表示学习的神经信念追踪（Neural Belief Tracking，NBT）框架，用于估计对话中用户的目标，并可以在不使用手工制作语义词典的情况下达到与最先进的模型相同或更好的效果。

    Jun, 2016

  • 跨语言中间微调改进对话状态跟踪

    该论文提出了一种在预训练多语言模型之间进行跨语言传递学习的方法，通过中间微调预训练的多语言模型，使其适用于不同但相关的数据和 / 或任务，以提高对话系统的性能。

    Sep, 2021

  • 生成式对话状态跟踪器中的跨语言可转移性的实证研究

    本文研究了多语言预训练 seq2seq 模型在跨语言对话状态追踪中的可转移性，尝试了联合训练、预训练等不同设置，并发现了转化能力较低的问题。

    Jan, 2021

  • 跨语言迁移学习用于多语言任务导向的对话

    本文讨论了在任务导向的对话系统中如何识别用户意图和相应的插槽，并通过多种跨语言转移方法进行数据集训练比较

    Oct, 2018

  • 评估跨语言句子表示的 XNLI

    本文提出了 XNLI 数据集用于跨语言句子理解的评估，并研究了多语言句子理解的基准和挑战。

    Sep, 2018

  • XNLI 2.0：改进 XNLI 数据集和跨语言理解（XLU）性能

    本篇研究通过重新翻译 14 种不同语言的 MNLI 数据集，包括 XNLI 测试和开发集，以改进原始 XNLI 数据集，并通过在 15 种不同语言中训练模型并分析其在自然语言推断任务上的表现来实现跨语言理解和自然语言处理，同时通过在英语以外的语言中训练模型来探索在资源匮乏的语言（如斯瓦希里和乌尔都语）中提高性能的可能性。

    Jan, 2023

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 使用双语词典进行标注低资源语言的模型转移

    本研究提出了一种新颖的基于跨语言词向量的神经网络模型，通过高覆盖的双语词典训练，利用跨语言模型转移的方法，针对低资源语言的注释预测问题提出了解决方案，并通过多种主动学习启发式方法，提升了该方法的性能。

    May, 2017

  • 多源跨语言模型迁移：学习共享的内容

    利用生成对抗网络和无监督多语言嵌入，结合多源语言训练数据的多语言转移学习方法，在多语言文本分类和序列标记任务中实现 target 语言的显著性能提升。

    Oct, 2018

  • 通用对话状态跟踪

    StateNet 是一种通用的对话状态跟踪器，它独立于值的数量，共享所有插槽的参数，并使用预训练的词向量而不是明确的语义字典来解决当前方法在大型对话域上难以扩展的挑战，并且在两个数据集上的实验显示，我们的方法不仅克服了这些限制，而且还显著优于最先进的方法的性能。

    Oct, 2018