Nov, 2022

低资源口语理解的双向表示

PDF
TL;DR本篇研究提出了一种表示模型来编码富含双向编码的语音，同时使用遮蔽语言建模目标来学习这个模型。采用类关注作为口语理解模块，提高了模型在 Fluent Speech Command 数据集上的性能，并且可以用于可视化解释模型预测。
spoken language understandingrepresentation modelmasked language modellingclass attentionfine-tuning
发现论文，激发创造
  • 朝向端到端口语理解

    本文研究了口语理解系统的端到端学习方法，能够直接从音频特征中推断语义意义，而不需要中间文本表示。研究表明，该模型能够获得合理好的结果，并能直接从音频特征中捕捉语义注意力。

    Feb, 2018

  • 低资源口语理解的多任务学习

    本研究探讨了多任务学习在语音处理中的优势，通过使用自动语音识别和意图分类或情感分类的双重目标来训练模型，我们的模型虽然规模适中，但我们的研究表明多任务学习可以在低资源情况下与基线模型竞争，并且在情感分类上表现与端到端模型相当。

    Nov, 2022

  • 基于跨模态师生学习的预训练语义语音嵌入用于端到端口语理解

    本文提出了一种新的训练方法，将预先训练的语境嵌入用于处理声学特征，并扩展了预先训练的语音识别系统的编码器，以构建端到端的口语理解系统，实验结果表明，该系统在三个基准测试中达到与流水线结构相当的性能，在没有使用任何训练数据的情况下，在两个基准测试中经过微调每类 10 个示例后优于流水线结构。

    Jul, 2020

  • 语音理解的流式端到端框架

    本文提出了一种流式端到端框架，采用单向 RNN 和 CTC 标准进行训练，可以在线和增量地处理多个意图，实现了与最先进的非流式模型相当的精度，并在关键词检测任务中表现出高度的前途。

    May, 2021

  • 无 ASR 语音语言理解的端到端架构

    这篇论文探讨了针对 Fluent Speech Commands 数据集的一系列递归架构，用于意图分类，通过结合深度递归架构和标准数据增强，不使用 ASR 级目标或预训练的 ASR 模型即可实现最先进的结果，并且探讨了其对新措辞的普适性，结果表明，该模型在训练期间未见过的措辞上也能表现得相当不错。

    Oct, 2019

  • 构建低资源语言口语理解系统

    研究探索低资源语言环境下，使用拼音转录进行意图分类的方法构建基于语音理解系统，并发现相较于使用语音特征的系统，使用拼音转录的系统具有显著的分类性能提升。

    May, 2022

  • 面向端到端口语理解的语音模型预训练

    本研究提出了一种新的减少训练数据量的语音理解模型，在预训练中通过预测单词和音素来学习关键特征，并使用新的 SLU 数据集 Fluent Speech Commands 进行实验以测试泛化能力。

    Apr, 2019

  • 语言表征在视觉语音信号模型中的应用

    基于视觉基础的言语知觉模型，使用多层循环高速公路网络对时间性建模，能够从输入信号中提取形式和基于含义的语言学知识，并分析了训练模型不同组件使用的表示方式。在表示层次结构的上升过程中，语义方面的编码越来越丰富，而语言输入中形式相关方面的编码在初始增加后呈现平稳或下降的趋势。

    Feb, 2017

  • 从音频到语义：端到端口语理解方法

    本文提出了一种基于编码器 - 解码器模型的语音到语义理解的端到端的方法，将自动语音识别模块和自然语言理解模块联合优化，中间文本表示对于预测语义特别是意图参数非常重要，并且整个系统的共同优化可以提高预测的准确性，尤其是参数单词错误率可以提高 18%。

    Sep, 2018

  • 通过掩码重构无监督预训练双向语音编码器

    提出了一种使用掩蔽重构损失进行预训练语音表示的方法，实现了双向预训练编码器网络在典型的双向语音识别模型中的直接使用。该方法在 LibriSpeech 和 Wall Street Journal 语料库上的实验表明，预训练、掩蔽段、领域适应都能提高语音识别性能。

    Jan, 2020