Oct, 2022

基于树约束指针生成器的端到端口语理解

PDF
TL;DR利用上下文偏置技术，结合基于树约束指针生成器（TCPGen）的插入偏置模型和插入概率偏置机制（SPB），提出了一种方法来解决端到端口语理解系统中的长尾词问题，该方法对比基线表现，在 SLURP 数据集上实验表明 TCPGen 和 SPB 对言语理解 F1 值具有稳定、显著的提高，特别是在未知实体上的测试也有较好的表现，同时改善了意图分类的准确性。
spoken language understandingcontextual biasingend-to-end systemstree-constrained pointer generatorslot probability biasing
发现论文，激发创造
  • 面向端到端情境语音识别的基于树约束的指针生成器

    提出了一种新的树约束指针生成（TCPGen）组件，以神经符号的方式将偏差性词汇列表融入到基于注意的编码器 - 解码器和跨度端到端自动语音识别模型中。在 Librispeech 语料库上进行了训练和评估，实验结果表明，TCPGen 相对于基线方法始终改进了单词错误率（WER），并且特别在偏差性词汇上实现了显著的 WER 降低。TCPGen 处理 5,000 个偏差词和诱饵是非常有效的，只增加了少量的内存使用和计算成本。

    Sep, 2021

  • 基于树约束指针生成器的上下文 ASR 中减小偏置词误差

    本文提出了一种基于 “TCPGen” 的端到端自适应语音识别模型，在训练和测试中引入外部语境信息和偏置词列表，并通过构建符号前缀树和优化偏置词错误率等手段，显著提高了长尾高价值词汇识别准确率，甚至在未出现在已知数据集中的词汇上也取得了较大的进展。

    May, 2022

  • 基于图神经网络编码的树约束指针生成模型在情境语音识别中的应用

    本文提出了一种将图神经网络编码应用于基于树约束指针生成器的端到端语音识别系统中，以便用上文本知识中的偏见词，结果显示与原始模型相比，相对 WER 降低了约 15%。

    Jul, 2022

  • 针对基于前缀树的上下文 ASR 的音素感知编码

    在语音识别应用中，通过使用基于音素的编码将 Tree-constrained Pointer Generator (TCPGen) 扩展，可以更好地识别发音不寻常的词，我们的 ASR 实验结果表明，这种音素感知编码优于传统的字母编码。

    Dec, 2023

  • 基于端到端神经变形器的口语理解

    本论文介绍了一种基于端到端的神经网络转换器，可以在不需要中间层令牌预测架构的情况下，在音频信号中预测嵌入式变长域、意图和插槽向量，可高效提取所述话语所隐含的语义上下文。

    Aug, 2020

  • 使用 Whisper 和 GPT-2 技术进行情境偏见调整是否仍然有效？

    本文研究了对 Whisper 和 GPT-2 进行神经语境偏置的有效性，发现使用特定的偏置列表来帮助 Whisper 和 GPT-2 减少数据集中不频繁且性能差的单词可以显著降低错误率。在应用于特定领域的数据时，语境偏置更加有效，并可以提高 Whisper 和 GPT-2 的性能，同时不失其一般性。

    Jun, 2023

  • 提升口语理解中集合预测的端到端模型

    本文介绍了利用两类 E2E 模型（RNN 转录器和基于注意力的编码器 - 解码器）进行口语语言理解系统的语义实体预测的研究，以及提出的一种数据增强技术和一种隐式注意力对齐方法来推断口语顺序，从而提高 E2E SLU 模型的性能。相较于以前报导的结果，F1 分数显著提高了超过 11％（对于 RNN-T）和约 2％（对于基于注意力的编码器 - 解码器）。

    Jan, 2022

  • 无全文本端到端口语理解

    本文研究了直接将语音输入转换为语义实体的端到端口语理解系统，探索了这些端到端系统是否可以仅使用语义实体注释进行训练，并且使用注意力机制的编码器 - 解码器模型的效果最佳。

    Sep, 2020

  • 联合 CTC 损失和自监督预训练声学编码器的端到端口语理解

    本研究通过利用自我监督的声学编码器，提取文本嵌入，结合联合 CTC 和 SLU 损失的方法，实现了语音理解任务的话语级 SLU 模型，并在 DSTC2 数据集上比 SOTA 对话行为分类模型提高 4％绝对值，在 SLURP 数据集上比 SOTA SLU 模型提高 1.3％绝对值。

    May, 2023

  • 减少语音训练数据需求以构建口语理解系统

    本文介绍了一种使用少量的语音数据和大量的文本数据结合的方法，可以有效地构建端到端的语音理解系统，并在句意和实体两个任务上得到了验证，最终得出该方法可以在仅使用文本数据进行训练的情况下，达到与使用全部语音数据进行训练的系统性能相近的结果。

    Feb, 2022