Jun, 2022

高效准确的非自回归多轮口语理解模型：捕捉显著的历史信息

PDF
TL;DR本文提出了一种名为 SHA-LRT 的新型多轮对话 Spoken Language Understanding 模型，它通过历史 - 注意机制从历史话语中捕获显著的历史信息，并使用中间状态引导最终预测，有效提高了多轮对话中语言理解的性能，并在单轮 SLU 任务上表现良好。
spoken language understandingmulti-turn dialoguenon-autoregressive modelssalient historical informationsha-lrt
发现论文，激发创造
  • 一种有效的非自回归式口语理解模型

    本文提出了一种新型非自回归对话系统核心部件 ——Layered-Refine Transformer，其包含 Slot Label Generation 和 Layered Refine Mechanism，通过在训练期间有效获取依赖信息，实现了在推断时显著提高了 SLU 性能（总体准确率提高 1.5% 以上）并加速了（超过 10 倍）推断过程。

    Aug, 2021

  • 动态时间感知的发言者角色和上下文关注在口语理解中的应用

    该论文提出了一种基于注意力机制的网络，利用上下文和说话人角色进行时态信息的学习和自适应特征提取，从而显著提高了口语理解的性能。

    Sep, 2017

  • 多轮口语对话中基于知识增强的 BERT 互联网络

    本文研究了基于 BERT 的联合模型，利用知识关注机制和筛选相关知识三元组的门控机制相互利用两个 SLU 任务的对话上下文和动态信息进行建模，实验结果表明相对于其他竞争基线，该方法在两个复杂的多轮对话数据集上取得了相当大的改进。

    Feb, 2022

  • 基于端到端神经变形器的口语理解

    本论文介绍了一种基于端到端的神经网络转换器，可以在不需要中间层令牌预测架构的情况下，在音频信号中预测嵌入式变长域、意图和插槽向量，可高效提取所述话语所隐含的语义上下文。

    Aug, 2020

  • 面向口语理解的序列对话上下文建模

    本文提出了一种新的基于递归神经网络（RNN）的序列化对话编码器网络，并将其与传统的语言理解系统和记忆网络进行了比较，实验证明该网络可以减少语义框架错误率。

    May, 2017

  • 将口语理解任务与集成对话历史联合建模

    该研究旨在构建一种新型的自动预测语音理解系统，该系统利用历史对话信息预测口语意图、对话行为、说话人角色和情感等四种属性，并采用自回归模型和无序训练方法，以应对不同 SLU 任务的高效率和低延迟问题。实验证明，该系统与任务特定的分类器相当，并可有效整合对话环境以进一步提高 SLU 性能。

    May, 2023

  • 大型语言模型在扩展口语理解系统到新语言方面的应用

    介绍了一种使用大型语言模型进行机器翻译的流水线，用于扩展语音助手系统的口语理解模型，提高了多语言场景和设备本地场景下的整体准确率。

    Apr, 2024

  • 基于 BERT 的语言模型在口语转录中学习的实证研究

    本文介绍了将自然语言处理的特性应用于口语语言理解上，包括不同的话语特征和多模态表现。该文尝试拆解口语的语言障碍和多重意思，并探讨了 BERT 和 RoBERTa 语言模型对 SLU 的适应性和局限性。文中还验证了语言模型对话语特征的表现，尤其是对于声学提示较少的语音模型的成果。

    Sep, 2021

  • 面向多意图口语理解的范围敏感和结果关注模型

    本文提出了一种基于 Transformers 的 Scope-Sensitive Result Attention Network（SSRAN），包括 Scope Recognizer（SR）和 Result Attention Network（RAN），通过减少语义信息冲突和使用双向交互有效地解决多意图语音理解问题，实验证明在两个公共数据集上，我们的模型显著提高了整体准确度（分别为 5.4％和 2.1％）

    Nov, 2022

  • 基于 RNN 的增量在线口语理解

    提出使用循环神经网络 (RNN) 基于增量处理的方式进行口语语言理解 (SLU) 的意图检测，从而实现系统延迟更低的效果，同时不会显著降低 SLU 系统的准确性。

    Oct, 2019