Dec, 2016

自然语言理解和对话管理的端到端联合学习

PDF
TL;DR本文介绍了一种使用深度循环神经网络及其逐步训练实现的自然语言理解和系统动作预测联合模型，在多领域人机对话中验证了该模型的性能显著优于现有模型。
natural language understandingdialogue policy learningend-to-end deep recurrent neural networkdstc4 multi-domain human-human dialoguesstate-of-the-art pipeline models
发现论文，激发创造
  • 通过强化学习进行协作多智能体对话模型训练

    本文利用 DSTC2 数据为种子数据，建立了功能包括：natural language understanding 和 natural language generation 的 conversational agent，并让它们通过生成自然语言进行在线交互，进而将这个交互行为建模成一个随机协作游戏，并在实验中表现出优于 deep learning 的结果。

    Jul, 2019

  • 将口语理解任务与集成对话历史联合建模

    该研究旨在构建一种新型的自动预测语音理解系统，该系统利用历史对话信息预测口语意图、对话行为、说话人角色和情感等四种属性，并采用自回归模型和无序训练方法，以应对不同 SLU 任务的高效率和低延迟问题。实验证明，该系统与任务特定的分类器相当，并可有效整合对话环境以进一步提高 SLU 性能。

    May, 2023

  • 会话式人工智能的口语理解：近期进展和未来方向

    该论文讨论了使用深度学习技术进行自然语言理解的联合任务，包括意图检测和槽填充，介绍了 Spoken Language Understanding/Natural Language Understanding（SLU/NLU）技术和用于解决该问题的最新自然语言处理和深度学习技术，以及如何提高性能的一些方法。

    Dec, 2022

  • 语音到语义：通过全神经接口共同改进 ASR 和 NLU

    本文研究基于语音指令的自然语言理解问题，提出了一种端到端联合 SLU 模型，可以提取语音中自然语言指令及相关的归属槽位参数或命名实体，并且能够在硬件受限的设备上运行，提高隐私保护并降低服务器成本。

    Aug, 2020

  • ASR 纠错和语言理解的联合上下文建模

    该研究提出了一种多任务神经网络方法，通过对话系统中的语音识别输出进行上下文语言纠正和语言理解以改善两个任务的性能，从而提高自动语音识别的质量。

    Jan, 2020

  • 基于多任务学习的联合语言理解和对话状态跟踪

    本文提出了一种新的多任务学习方法，旨在为面向任务的对话系统中的语言理解（LU）和对话状态跟踪（DST）进行学习。多任务训练使得编码用户话语的神经网络层用于 LU 和 DST，通过减少网络参数并提高性能。 本研究提出了 DST 框架，用于考虑有大量或无限可能值的插槽及以往对话中未见过的槽值，并探讨了在 LU 和 DST 输出上使用计划采样来弥合训练和推理之间的差距。

    Nov, 2018

  • 实境游戏学习的自然语言理解：初步评估

    研究了一个新的多任务 NLU 结构在小型领域游戏数据集上进行意图识别的表现，发现相比基线方法，Dual Intent and Entity Transformer (DIET) 架构在野外数据上具有较强的鲁棒性。

    May, 2022

  • 无 ASR 语音语言理解的端到端架构

    这篇论文探讨了针对 Fluent Speech Commands 数据集的一系列递归架构，用于意图分类，通过结合深度递归架构和标准数据增强，不使用 ASR 级目标或预训练的 ASR 模型即可实现最先进的结果，并且探讨了其对新措辞的普适性，结果表明，该模型在训练期间未见过的措辞上也能表现得相当不错。

    Oct, 2019

  • DSTC6 中的端到端对话建模赛道

    本文提出基于人人对话数据的挑战赛以训练端到端对话模型，实现了端到端的对话任务，模拟了客户服务的各种情况。

    Jun, 2017

  • 联合自然语言理解和生成的生成模型

    本研究提出一个通过共享潜变量将自然语言理解和自然语言生成相结合的生成模型，可在平面和树形形式表示的两个对话数据集上达到最先进的性能，并展示了该模型可以利用未标记数据进行半监督学习以提高其性能。

    Jun, 2020