EMNLPApr, 2020

跨语言 NLU 的端到端槽位对齐和识别

PDF
TL;DR本文提出了一种新的端到端模型，可以跨语言传递自然语言理解（NLU）系统，同时对目标词槽进行对齐和预测。我们提出了 MultiATIS ++ ，一个跨越四种语言系的九种语言的多语言 NLU 语料库，并使用 MultiATIS++ 对我们的方法进行评估。结果表明，我们的方法在大多数语言上都优于使用 fast-align 的简单标签投影方法，并在只有一半的训练时间的情况下达到了更复杂、最先进的投影方法的竞争性性能。我们将 MultiATIS++ 语料库发布给社区以继续未来的跨语言 NLU 研究。
natural language understandingintent classificationslot labellingmultilingual nlu corpuscross-lingual transfer
发现论文，激发创造
  • STIL -- 使用 mBART 在 MultiATIS ++ 上进行同时槽填充、翻译、意图分类和语言识别的初始结果

    通过将同时槽填充和翻译成单个输出语言（在本例中为英语），可以减少下游系统组件的一部分的单语性，从而降低开发和维护成本。在使用 MultiATIS ++ 数据集对 7 种语言进行微调的多语言 BART 模型（Liu 等人，2020）的结果表明，当不执行翻译时，mBART 的性能与测试的语言的当前技术水平的系统（Xu 等人的跨语言 BERT（2020））相当，但平均意图分类准确率更高（96.07％对 95.50％），但平均插槽 F1 较差（89.87％对 90.81％）。当执行同时翻译时，平均意图分类准确性仅降低 1.7％，而平均插槽 F1 仅降低 1.2％的相对值。

    Oct, 2020

  • 零样本跨语言意图预测和槽填充的多语言码交换

    本文提出了一种通过多语言代码切换来增强 Transformer 的语言中立性的新方法，从而解决零样本学习中在未知目标语言下预测用户意图和检测相应选项的问题，并在多个语言上对 MultiATIS ++ 数据集进行实验，相较于现有技术，平均精度提高了 + 4.2％，F1 提高了 + 1.8％。通过收集英语和海地克里奥尔语的新人工标注推文数据集，本文将该方法应用于危机信息学。

    Mar, 2021

  • 跨语言迁移学习用于多语言任务导向的对话

    本文讨论了在任务导向的对话系统中如何识别用户意图和相应的插槽，并通过多种跨语言转移方法进行数据集训练比较

    Oct, 2018

  • 无需迁移的数据高效多语言槽位标注

    利用 TWOSL 方法，可以跨语言自动抽取并归类任务相关信息，即使缺乏标注数据，也能完成快速且数据高效的多语种对话标记。

    May, 2023

  • 联合意图探测和槽位填充的波斯语基准

    本文研究自然语言理解在科技中的重要性以及为低资源语言创建波斯语基准 ATIS dataset ，采用最先进的方法对其进行意图检测和填槽

    Mar, 2023

  • 面向跨语言口语理解的标签感知多层对比学习

    本研究提出一个基于对话、槽位和单词水平的对比学习框架来显式对齐跨语言口语理解中隐含语义结构的多语种混合方法，通过引入硬负样本和标签关联联合模型，取得了两个零 - shot 跨语言口语理解的基准数据集中显著的性能改进。

    May, 2022

  • 多意图口语理解的协同引导

    提出了一种名为 Co-guiding Net 的新模型，采用两阶段框架实现了两个任务之间的相互引导，并且通过异构图注意网络有效地表示语义节点和标签节点之间的关系，并进一步利用对比学习提高模型性能。

    Nov, 2023

  • 多层次多粒度对比学习驱动口语理解

    提出了一种多级多粒度的语音语义理解（SLU）框架 MMCL，应用对比学习在话语级、槽位级和词级三个层级上，实现意图和槽位之间的互相引导，通过对公开的多意图 SLU 数据集的实验结果和进一步分析，证明了模型取得了新的最先进结果，在 MixATIS 数据集上的整体准确率相比之前最好的模型提高了 2.6 个百分点。

    May, 2024

  • 基于 BERT 的联合多语言意图检测与槽位填充模型

    本文介绍了 Bert-Joint，一种利用多语言联合文本分类和序列标注框架的模型，旨在利用 “无递归” 模型成功应用于口语自然语言理解的任务上，并通过实验验证了该模型在英语基准数据集上表现出了强大的性能，处理少量的标注数据时表现良好。此外，我们还为意大利语语言标注了一个新数据集，并观察到了类似的性能，而不需要更改模型。

    Jul, 2019

  • 通过预训练语言模型探测和多层对比学习实现槽位归纳

    在本研究中，我们研究了无需显式标注的词级槽位注释的情况下，用于识别 Task-oriented Dialogue Systems 中的槽位边界的槽位感知（Slot Induction）任务，并提出利用无监督预训练语言模型（PLM）探测和对比学习机制，结合可从 Task-oriented Dialogue Systems 中获得的句级意图标签信号，从而在两个自然语言理解基准数据集上展现出有效性，同时能够填补与词级监督模型之间的差距。当推广到新兴意图时，我们的槽位感知目标还提供了改进的槽位标签表示，从而提高了槽位填充任务的性能。

    Aug, 2023