Oct, 2023

UniverSLU：适用于多样化分类和序列生成任务的通用口语理解单网络

PDF
TL;DR通过利用大型语言模型与多任务能力展示有希望的结果，我们构建了一个名为 UniverSLU 的单一多任务学习模型，它在 12 个语音分类和序列生成任务、17 个数据集和 9 种语言上展现出了竞争性的性能并且超过了特定任务模型。同时，我们还初步探索了使用人类可解释的自然短语代替任务限定词作为离散提示，并测试了该模型对新的释意表达的泛化能力。
发现论文，激发创造
  • 通过语音翻译辅助的端到端口语理解

    利用跨语言语音翻译 (ST) 作为预训练任务可提高单语和多语意图分类，口语问答的性能，并探索模型的贝叶斯迁移学习和持续学习惯性。

    May, 2023

  • 低资源口语理解元辅助学习

    本论文提出了一种基于元辅助学习的 ASR 和 NLU 联合训练方法，通过利用丰富的语音手动转录数据来提高低资源 SLU 任务的性能，无需访问任何语义注释，该算法的效率在公共 CATSLU 数据集上得到了证明。

    Jun, 2022

  • 多层次多粒度对比学习驱动口语理解

    提出了一种多级多粒度的语音语义理解（SLU）框架 MMCL，应用对比学习在话语级、槽位级和词级三个层级上，实现意图和槽位之间的互相引导，通过对公开的多意图 SLU 数据集的实验结果和进一步分析，证明了模型取得了新的最先进结果，在 MixATIS 数据集上的整体准确率相比之前最好的模型提高了 2.6 个百分点。

    May, 2024

  • 无监督自动语音识别桥接语音和文本预训练模型

    该研究提出了一种简单高效的无监督语音到语义预训练模型，使用无监督自动语音识别作为连接器，实现了不同任务的语音语言理解，其中包括最近热门的口语问答任务，并在 NMSQA 基准测试中达到了最新的最优结果。

    Nov, 2022

  • 基于预训练 SSL、ASR、LM 和 SLU 模型的口语理解整合研究

    本研究旨在探索使用预训练策略增强口语理解任务性能，通过自监督的语音和语言模型在 SLU 测评基准上进行实验，发现预训练模型可于低资源环境中提升结果，其中以预训练的语言和语音模型分别在情感分析和命名实体识别任务上效果最突出。

    Nov, 2022

  • 将口语理解任务与集成对话历史联合建模

    该研究旨在构建一种新型的自动预测语音理解系统，该系统利用历史对话信息预测口语意图、对话行为、说话人角色和情感等四种属性，并采用自回归模型和无序训练方法，以应对不同 SLU 任务的高效率和低延迟问题。实验证明，该系统与任务特定的分类器相当，并可有效整合对话环境以进一步提高 SLU 性能。

    May, 2023

  • SLUE Phase-2: 一个不同语种口语理解任务的基准套件

    本研究基于自由可用的语音数据介绍了几种新的语音理解测试任务，包括问题回答、摘要、命名实体定位和对话行为分类，旨在补充现有基准测试并解决 SLU 评估领域的差距，为便于比较而发布了基准模型。

    Dec, 2022

  • 大型语言模型在扩展口语理解系统到新语言方面的应用

    介绍了一种使用大型语言模型进行机器翻译的流水线，用于扩展语音助手系统的口语理解模型，提高了多语言场景和设备本地场景下的整体准确率。

    Apr, 2024

  • 利用大型语言模型攫取 ASR 不确定性

    利用 n-best 列表提示方法，我们改善了基于大型语言模型的口语理解任务，使其能够更好地理解口语意图并应用于基于语音的应用。

    Sep, 2023

  • 跨语言口语理解的迁移学习

    本文介绍如何通过在多语言之间传递数据以减少成本，从而提高对新语言的口语理解系统。我们的多任务 SLU 框架在不同语言上经过评估，结果表明我们的单语言模型优于最先进的技术，我们可以大大减少引导新语言口语理解系统所需的数据量，同时，虽然多任务训练比单独训练要好，但不同的权重转移设置可能对不同的 SLU 模块最有效。

    Apr, 2019