Oct, 2023

利用多语言自监督预训练模型进行序列到序列端到端口语理解

PDF
TL;DR使用预训练模型和多语言设置，提出了一种统一的方法来进行 End-to-End 语音语言理解，包括词槽填充，通过在可用的大规模语音识别数据上进行预训练，该方法在多个数据集和跨语言任务上取得了显著的性能提升。
end-to-end spoken language understandingpretrained modelsmultilingual setuplexical fillersspeech recognition data
发现论文，激发创造
  • 通过语音翻译辅助的端到端口语理解

    利用跨语言语音翻译 (ST) 作为预训练任务可提高单语和多语意图分类，口语问答的性能，并探索模型的贝叶斯迁移学习和持续学习惯性。

    May, 2023

  • 面向端到端口语理解的语音模型预训练

    本研究提出了一种新的减少训练数据量的语音理解模型，在预训练中通过预测单词和音素来学习关键特征，并使用新的 SLU 数据集 Fluent Speech Commands 进行实验以测试泛化能力。

    Apr, 2019

  • 自监督语音和语言模型预训练的半监督口语理解

    本文提出了一种基于半监督学习的、使用预先训练的端到端自动语音识别（E2E ASR）和自监督语言模型（如 BERT）进行微调的通用语义理解框架，该框架可从转录或未转录的语音中直接学习语义来解决一些 SLU 模型中的问题，如 ASR 错误、意图预测而不是词槽预测以及在大量训练数据不足的情况下训练。实验结果表明，该框架对于语义理解可以与使用 Oracle 文本作为输入的模型相媲美，具有良好的环境噪声鲁棒性，并且在训练集有限的情况下也能达到较好的效果。

    Oct, 2020

  • 提升口语理解中集合预测的端到端模型

    本文介绍了利用两类 E2E 模型（RNN 转录器和基于注意力的编码器 - 解码器）进行口语语言理解系统的语义实体预测的研究，以及提出的一种数据增强技术和一种隐式注意力对齐方法来推断口语顺序，从而提高 E2E SLU 模型的性能。相较于以前报导的结果，F1 分数显著提高了超过 11％（对于 RNN-T）和约 2％（对于基于注意力的编码器 - 解码器）。

    Jan, 2022

  • 基于流式端到端模型的大规模多语言语音识别

    本文介绍了一种使用条件向量和针对语言的适配器层结合的多语言端到端模型，取得了比单语言模型和传统模型都更低的语音识别误差率。

    Sep, 2019

  • 利用语音合成训练端到端口语理解模型

    文章提出了一种使用语音合成生成大规模合成数据集的方法，以克服要求领域内语音数据记录的问题，并在两个开源数据集上进行实验证明该方法在作为训练数据的唯一来源和数据扩充形式时的有效性。

    Oct, 2019

  • 多语言一对多端到端语音翻译

    本文旨在通过使用多语言方法探究转移学习在以端到端神经模型进行口语翻译中的有效性，结果表明，使用目标语言嵌入语义空间可以更有效地区分不同目标语言并改进结果，其中当对相似语言进行翻译时效果更为显著，特别是数据不足的情况下。

    Oct, 2019

  • 面向通用语音助手的端到端口语理解

    本文介绍了一种基于可预训练的差分可训练模型和使用 Transformer 的层次化系统的语音识别模型，旨在提高其在商用语音助理中的应用性能。实验表明，与基准系统相比，在一些神经网络模型和数据集之上达到了较好的表现。在对数据进行了重新标注并进行了人工评估后，本文提出的方法的语义准确率得到了大幅提高，这显示出本文提出的方法在商用语音助理中的应用价值。

    Jun, 2021

  • 双通路低延迟端到端口语理解

    本研究利用内部预训练的语言模型构建强大的语义表示，使用 2 段 SLU 系统，结合语义和语音特征进行高质量语音识别，以提高用户体验和降低延迟。

    Jul, 2022

  • 端到端口语理解：低资源环境下语音命令任务的性能分析

    本文研究了利用深度神经网络的端到端口语理解模型 (E2E SLU) 在非英语智能家居背景下使用的语言特性，证明了优良的 E2E SLU 表现并不总是需要完美的 ASR 能力，并且 E2E 模型相较于传统管道模型在处理背景噪声和语法变异等方面有更出色的性能。该研究还发现，E2E 模型通过音调信息识别语音命令概念。

    Jul, 2022