Dec, 2020

评估跨语言转移学习方法在多语言对话代理模型中的应用

HTML
PDF
TL;DR本文研究提出了一种通用多语言模型的框架，该框架利用深度学习架构实现语音助手设备的自然语言理解，显著减少了单独开发每种语言模型所需要的努力和维护成本，并在多语种环境下取得了比单语种环境下更好的研究成果。
发现论文，激发创造
  • 跨语言迁移学习用于多语言任务导向的对话

    本文讨论了在任务导向的对话系统中如何识别用户意图和相应的插槽，并通过多种跨语言转移方法进行数据集训练比较

    Oct, 2018

  • 跨语言口语理解的迁移学习

    本文介绍如何通过在多语言之间传递数据以减少成本，从而提高对新语言的口语理解系统。我们的多任务SLU框架在不同语言上经过评估，结果表明我们的单语言模型优于最先进的技术，我们可以大大减少引导新语言口语理解系统所需的数据量，同时，虽然多任务训练比单独训练要好，但不同的权重转移设置可能对不同的SLU模块最有效。

    Apr, 2019

  • 关于单语表示的跨语言转移性

    新颖的跨语言转移学习方法-从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

    Oct, 2019

  • XPersona: 评估多语言个性化聊天机器人

    本研究提出了一个名为XPersona的个性化对话数据集，并通过多语言训练的基线模型和跨语言训练的基线模型进行了实验证明。结果表明，多语言训练的模型优于翻译管道模型，并且其性能与单语言训练的模型相当，而跨语言训练的模型则表现出劣于其他模型的性能。该数据集和基线模型有望加速多语言对话系统的研究。

    Mar, 2020

  • 跨语言中间微调改进对话状态跟踪

    该论文提出了一种在预训练多语言模型之间进行跨语言传递学习的方法，通过中间微调预训练的多语言模型，使其适用于不同但相关的数据和/或任务，以提高对话系统的性能。

    Sep, 2021

  • 自动语音识别多语言模型综述

    该论文研究了基于跨语言转移的多语种自动语音识别模型的最新进展和最佳实践，并探讨了未来的研究方向和建议。

    Feb, 2022

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 使用Prompt-Tuning进行高效跨语言转移学习的对话任务对齐

    本文介绍了XSGD，一个包括105种语言的大规模平行多语种对话数据集，并使用基于prompt-tuning的方法进行对齐，经研究发现，NLI-based分类器以及对齐的prompt可以实现强大和高效的模型能力和大规模的跨语言转移提高，特别是在少样本情况下。

    Apr, 2023

  • 大型语言模型在扩展口语理解系统到新语言方面的应用

    介绍了一种使用大型语言模型进行机器翻译的流水线，用于扩展语音助手系统的口语理解模型，提高了多语言场景和设备本地场景下的整体准确率。

    Apr, 2024

  • 低资源非洲语言的多语言模型跨语言迁移

    本研究解决了高资源多语言模型在低资源语言上效果不佳的问题，比较了单语言与多语言模型在肯尼亚语和基伦迪语之间的跨语言迁移能力。研究发现，AfriBERT在经过微调后实现了88.3%的跨语言准确率，显示多语言模型在资源有限的环境中具备强大的跨语言迁移能力。

    Sep, 2024