ACLMay, 2021

从遮蔽语言建模到翻译：非英语辅助任务提高零样本口语理解

PDF
TL;DR本文提出了跨语言意图和槽位检测的新基准，称为 xSID，并探讨了使用联合学习方法和机器翻译转移学习来处理数据稀缺的情况。结果表明，对于槽位填充任务，联合学习任务加遮掩语言模型是有效的，而机器翻译转移学习对于意图分类任务效果最好。
low-resource languagesspoken language understanding (slu)cross-lingual slot and intent detectionjoint learning approachmachine translation transfer
发现论文，激发创造
  • 低资源语言中的零样本槽位与意图检测

    研究了低资源语言中的意图检测和槽填充任务，测试了最近的大型语言模型编码器 - 解码器模型 mT0 的概括能力，并展示出该模型在意图检测任务上的表现优于基准模型（高达 + 30 F1 分）

    Apr, 2023

  • 跨语言口语理解的迁移学习

    本文介绍如何通过在多语言之间传递数据以减少成本，从而提高对新语言的口语理解系统。我们的多任务 SLU 框架在不同语言上经过评估，结果表明我们的单语言模型优于最先进的技术，我们可以大大减少引导新语言口语理解系统所需的数据量，同时，虽然多任务训练比单独训练要好，但不同的权重转移设置可能对不同的 SLU 模块最有效。

    Apr, 2019

  • 低资源口语理解元辅助学习

    本论文提出了一种基于元辅助学习的 ASR 和 NLU 联合训练方法，通过利用丰富的语音手动转录数据来提高低资源 SLU 任务的性能，无需访问任何语义注释，该算法的效率在公共 CATSLU 数据集上得到了证明。

    Jun, 2022

  • 跨语言迁移学习用于多语言任务导向的对话

    本文讨论了在任务导向的对话系统中如何识别用户意图和相应的插槽，并通过多种跨语言转移方法进行数据集训练比较

    Oct, 2018

  • 零样本跨语言意图预测和槽填充的多语言码交换

    本文提出了一种通过多语言代码切换来增强 Transformer 的语言中立性的新方法，从而解决零样本学习中在未知目标语言下预测用户意图和检测相应选项的问题，并在多个语言上对 MultiATIS ++ 数据集进行实验，相较于现有技术，平均精度提高了 + 4.2％，F1 提高了 + 1.8％。通过收集英语和海地克里奥尔语的新人工标注推文数据集，本文将该方法应用于危机信息学。

    Mar, 2021

  • 构建低资源语言口语理解系统

    研究探索低资源语言环境下，使用拼音转录进行意图分类的方法构建基于语音理解系统，并发现相较于使用语音特征的系统，使用拼音转录的系统具有显著的分类性能提升。

    May, 2022

  • 可转移潜变量的零 - shot 跨语言对话系统

    本文针对零资源的多语言任务导向对话系统进行零样本自适应的提出，使用极少量的平行语词来优化对齐的跨语言词级表示，并采用潜变量模型处理不同语言间类似句子的变化，实验表明，我们的模型在零样本情况下对自然语言理解任务的适应性优于当前最先进的模型。

    Nov, 2019

  • 多语言辅助任务训练：缩小语言之间的差距，实现仇恨言论检测模型的零 - shot 迁移

    本文研究了零 - shot 语言跨域转移学习在对抗言检测等任务中所面临的挑战，并提出使用多语种辅助任务（情感分析、命名实体识别和依靠语法信息的任务）进行训练，以提高模型的零 - shot 转移到不同语言的能力，最终实现跨语言之间的言语和文化差异的缩小。

    Oct, 2022

  • 通过语音翻译辅助的端到端口语理解

    利用跨语言语音翻译 (ST) 作为预训练任务可提高单语和多语意图分类，口语问答的性能，并探索模型的贝叶斯迁移学习和持续学习惯性。

    May, 2023

  • 跨语言转移还是机器翻译？关于单语义文本相似性的数据增强

    通过比较两种数据技术（跨语言转移和机器翻译），研究发现，使用英文数据训练的跨语言转移和使用英文数据转换为伪非英文训练数据的机器翻译在日语和韩语的单语 STS 上表现相当。此外，研究还发现 Wikipedia 领域在这些语言上优于 NLI 领域，并结合这些发现实验表明，跨语言转移 Wikipedia 数据能够提高单语 STS 的性能。

    Mar, 2024