本篇论文采用潜在神经嵌入状态和学习选择性关注,以及复制上下文等技术,对话系统可以不依赖于显式的用户意图和信念状态而实现特定领域用户对话。它证明了简单的序列到序列神经网络结构与复制机制的有效性,并在每次对话回应生成方面比更复杂的记忆增强模型高出 7%,达到了 DSTC2 的最新水平。
Jan, 2017
本文提出了一种新的复制框架 SeqCopyNet,它不仅能够复制单个单词,还能够从输入句子中复制序列,实验证明 SeqCopyNet 在句子摘要和问题生成方面表现出色。
Jul, 2018
本文提出了一种基于指针生成网络的响应生成模型,通过加入外部知识以及对话上下文,模型能够在对话系统中生成更加准确、丰富、有趣的响应,并在 CONVAI2 数据集上与几种基准模型进行比较和评估。
Aug, 2019
本研究提出了一种基于 Clue Guided Copy Network 的自动问答生成模型,通过多任务学习和复制机制的应用,显著提高了问题生成的性能并超越了所有现有的神经网络问题生成模型。
Feb, 2019
本文介绍一种利用序列到序列(seq2seq)模型在对话系统中生成更加相关且导致更多互动对话的响应的方法,通过最大化互信息并介绍连续的编码空间,将其映射到一种可学习的先验分布进行生成目的,实验证明了该模型的有效性。
Sep, 2018
本文提出了一种新的架构,通过使用混合指针生成网络和覆盖机制以增强标准的序列到序列注意模型来解决神经序列到序列模型不精确复制信息和重复问题,该模型在 CNN/Daily Mail 摘要任务上表现优异。
Apr, 2017
本研究提出了一种基于模板的指针网络模型,该模型利用预构建的特定领域会话存储库中的相关答案作为指导答案,并将指导答案并入编码和解码过程中,以提高神经网络任务导向对话系统的性能。实验表明,该模型在四个常用任务导向数据集上的表现明显优于最先进方法。
Jun, 2021
本文提出了一种组合学习方法,进一步超越了预先训练的语言模型,以捕捉涉及对话历史的话语感知和说话人感知等表示。通过使用 Transformer-based PrLM 的 masking 机制,将每个单词分别聚焦在当前话语,其他话语和两种说话人角色(即发送者话语和接收者话语)上,有效区分上下文信息。此外,该方法在对话领域适应性训练策略上借鉴了域自适应训练策略,成功地在四个公共基准数据集上取得了新的最先进性能。
Jan, 2023
本文提出了 contextualized non-local neural networks (CN3) 模型,它综合了 self-attention 和 graph neural networks 两种方法的优点,能在一定范围内构建特定任务的句子结构,从而在文本分类、语义匹配和序列标注等 10 个 NLP 任务中表现优异。
Nov, 2018
本研究提出基于课程学习和指针 - 生成框架的阅读理解解决方案,通过分解对齐关系和使用块级自注意力进行推理的方式构建多样化的训练样本,大幅提高了基准测试的表现水平。
May, 2019