使用自然数据挑战神经对话模型：记忆网络在增量现象上的失误

Sep, 2017

使用自然数据挑战神经对话模型：记忆网络在增量现象上的失误

Challenging Neural Dialogue Models with Natural Data: Memory Networks Fail on Incremental Phenomena

Igor Shalyminov, Arash Eshghi, Oliver Lemon

TL;DR研究了机器学习方法处理自然语言对话中语言现象的可行性，针对此问题，研究者将实际自然语言现象加入到 Facebook AI Research 的 bAbI 对话数据集中，发现目前的一种检索模型 MemN2N 在这种自然语言数据集合上表现急剧下降，但使用增量语义解析器 DyLan 能够在此数据集合上实现 100％的语义准确性。

Abstract

Natural, spontaneous dialogue proceeds incrementally on a word-by-word basis; and it contains many sorts of disfluency such as mid-utterance/sentence hesitations, interruptions, and self-corrections. But training data for machine learning approaches to dialogue processing is often eith

dialogue processing machine learning corpus semantic accuracy incremental parser

发现论文，激发创造

由极少数据启动增量对话系统：对话语法的泛化能力

本研究探讨使用小量未标记数据自动诱导任务型对话系统的端到端方法，利用动态句法和类型理论与记录相结合的增量语义语法和强化学习，其产生的系统是增量的，可以处理 74％的 Facebook AI bAbI 数据集，和 65％的 bAbI + 语料库，并比较了当前最先进的检索模型 MemN2N，揭示出其对 bAbI + 的转换的性能非常差。

Sep, 2017

对话系统中面向领域通用口语断续检测的多任务学习

本文提出一种多任务基于 LSTM 的模型，用于增量检测口吃结构，可以连接到任何组件以进行增量解释，或者在产生当前话语时用于 “清理” 当前话语。我们在 Switchboard 对话行为语料库上训练了该系统，并展示了其在该数据集上的准确性。我们的模型在 SWDA 上比以前的神经网络基于增量的方法表现优异，同时采用较简单的架构。为了测试模型的泛化潜力，我们在没有任何附加训练的情况下，在 bAbI + 数据集上评估了相同的模型。这表明我们的方法具有很好的泛化潜力，并更加详细地阐明了哪些类型的口吃可能适合于领域通用处理。

Oct, 2018

使用生成式分层神经网络模型搭建端到端对话系统

使用生成模型在大型对话语料库上构建开放域对话系统的任务得到了研究，这里我们扩展了分层递归编码器 - 解码器神经网络到对话领域，并证明了该模型与最先进的神经语言模型和后退 n-gram 模型有竞争力，我们进一步探讨了该方法及类似方法的局限性，再展示了如何通过从更大的问答匹配语料库和预训练的词嵌入中引导学习以提高其性能。

Jul, 2015

门控端到端记忆网络

本文提出了一种新的、受计算机视觉中连接快捷原则启发的端到端可训练内存网络 (End-to-End trainable Memory Networks) 结构 ——Gated End-to-End trainable Memory Networks (GMemN2N)，该结构无需使用任何额外的监督信号，可以显著提高 20 bAbI 数据集的最具挑战性的任务和真人机器人对话 (DSTC-2) 数据集。

Oct, 2016

目标导向对话中自然变化的影响

探究自然变化对神经对话系统的影响，提出了两个考虑用户自然变化的新数据集，发现 BossNet 和 GLMP 等最新端到端神经方法在这些数据集上的表现严重下降。

Oct, 2020

实时学习生成并修复语言

在这篇论文中，我们使用先前学习的动态句法语法和 CHILDES 语料库开发、训练和评估了一个概率模型，该模型用于增量生成，其中模型的输入是纯语义生成目标概念（TTR）。我们证明了该模型的输出与黄金候选项的准确匹配率为 78％，ROUGE-l 评分为 0.86。我们进一步对同一模型在生成目标在发话过程中发生变化时产生自我修复的能力进行了零次评估。自动评估显示模型能够在 85％的情况下正确生成自我修复。小规模的人工评估确认了生成的自我修复的自然性和语法性。总体而言，这些结果进一步突显了基于语法的模型的泛化能力，并为更可控和自然交互的对话型人工智能系统奠定了基础。

Aug, 2023

神经对话系统有效利用对话历史吗？实证研究

本文研究了神经生成模型在对话系统中对历史对话的敏感性，并通过实验证明在测试时的上下文人为干扰（例如缺失或重排序发言，混淆词语等）对常用的递归和基于 Transformer 的 seq2seq 模型的影响很小，在开源其代码的同时，本文所提供的测试评估工具将为未来的对话系统改进提供参考。

Jun, 2019

问答：面向自然语言处理的动态记忆网络

介绍了一种动态记忆网络 (DMN) 神经网络架构，它处理输入序列和问题，形成情节性记忆，并生成相关答案，用已训练的词向量表示和输入 - 问题 - 答案三元组训练，能在自然语言处理中取得最先进的结果。

Jun, 2015

基于循环神经网络与卷积句子重排的对话随机语言生成

本文提出基于联合循环卷积神经网络结构的统计语言生成器，可以在不需要语义对齐或预定义语法树的情况下，训练对话行为 - 话语对。客观指标表明，在相同的实验条件下，这种新模型优于以前的方法。人类评委的评估结果表明，它产生的不仅是高质量而且是语言上多变的话语，而且与 n-gram 和基于规则的系统相比受到更多的青睐。

Aug, 2015

基于网络的端到端可训练任务导向式对话系统

本文介绍一种基于神经网络的端到端可训练的目标导向对话系统，以及一种新的数据收集方法，该方法基于一种新型的管道式 Wizard-of-Oz 框架。该方法可用于开发对话系统，帮助用户在餐厅搜索领域自然地交流并完成任务。

Apr, 2016