EMNLPSep, 2019

面向任务机器人的上下文感知自注意力自然语言理解

PDF
TL;DR本文针对当前自然语言理解中存在的上下文信息缺失问题，提出了一种基于多信号的上下文感知自注意力自然语言理解 (CASA-NLU) 的模型，其能够获得比传统循环神经网络基线更好的性能，在两个对话数据集上分别提升了 IC 的任务 7% 和公共数据集 Snips 和 ATIS 的非上下文 CASA-NLU 模型取得了最先进的性能。
natural language understandingintent classificationslot labelingcontextual nluself-attentive nlu
发现论文，激发创造
  • 会话式人工智能的口语理解：近期进展和未来方向

    该论文讨论了使用深度学习技术进行自然语言理解的联合任务，包括意图检测和槽填充，介绍了 Spoken Language Understanding/Natural Language Understanding（SLU/NLU）技术和用于解决该问题的最新自然语言处理和深度学习技术，以及如何提高性能的一些方法。

    Dec, 2022

  • 动态时间感知的发言者角色和上下文关注在口语理解中的应用

    该论文提出了一种基于注意力机制的网络，利用上下文和说话人角色进行时态信息的学习和自适应特征提取，从而显著提高了口语理解的性能。

    Sep, 2017

  • 一种高效的口语理解上下文编码方法

    本论文提出了一种用于语音对话系统的有效的语言理解方法，它包括使用记忆网络来处理多个对话中的话语，以及使用循环神经网络进行上下文编码，以提高语义解析精度和计算效率。

    Jul, 2018

  • 目标导向对话系统的简单、快速、准确的意图分类和槽位标记

    本文探讨了利用自我注意力、卷积和循环模型进行语音理解的各种方法，提出了一种适用于工业环境的 “标签 - 循环” 模型，能够准确快速地进行意图分类和词条标注，同时在 Snips 数据集中实现了 30% 以上的误差降低。

    Mar, 2019

  • 将口语理解任务与集成对话历史联合建模

    该研究旨在构建一种新型的自动预测语音理解系统，该系统利用历史对话信息预测口语意图、对话行为、说话人角色和情感等四种属性，并采用自回归模型和无序训练方法，以应对不同 SLU 任务的高效率和低延迟问题。实验证明，该系统与任务特定的分类器相当，并可有效整合对话环境以进一步提高 SLU 性能。

    May, 2023

  • 利用跨句上下文和多任务语言建模进行电子商务聊天机器人的语音识别适应

    本文探讨了改进 Transformer-XL NLM 以重评 ASR N-best 提示的各种技术，包括利用上下文化、域自适应和多任务模型等方面；结果显示，模型的性能明显优于 LSTM LM 基准模型。

    Jun, 2021

  • 无 ASR 语音语言理解的端到端架构

    这篇论文探讨了针对 Fluent Speech Commands 数据集的一系列递归架构，用于意图分类，通过结合深度递归架构和标准数据增强，不使用 ASR 级目标或预训练的 ASR 模型即可实现最先进的结果，并且探讨了其对新措辞的普适性，结果表明，该模型在训练期间未见过的措辞上也能表现得相当不错。

    Oct, 2019

  • 面向口语理解的序列对话上下文建模

    本文提出了一种新的基于递归神经网络（RNN）的序列化对话编码器网络，并将其与传统的语言理解系统和记忆网络进行了比较，实验证明该网络可以减少语义框架错误率。

    May, 2017

  • 口语理解中的语义概念抽取现状如何？

    本文述及基于最近三年的神经网络技术，通过直接从语音信号中提取语义，取代传统的分类式自然语言处理方式，以 spoken language understanding 话题研究为主，在利用未标记的数据进行自我监督训练方面取得了新的突破。同时介绍了针对法语 MEDIA 数据集的最新进展，并提出了得到明显改进的成果，概念误差率（CER）从现有最优系统的 13.6% 降至 11.2%。

    Jun, 2021

  • 知识为师：基于知识引导的结构化注意力网络

    本文介绍了一种知识引导的结构注意力网络 (K-SAN) 模型，其是循环神经网络 (RNN) 的推广，此模型可以自动识别关键的子结构并加以利用，以提高对于自然语言理解的性能，表现优于基于神经网络的现有框架。

    Sep, 2016