ACLMay, 2023

句子级别课程学习以改进神经对话模型

PDF
TL;DR为了与人类用户进行对话，需要设计能够进行人机交互的机器智能，因此会话建模是自然语言处理中的重要任务。一个新的机器会话模型使用了逐渐构建的句子结构和复杂度的培训方法来模拟人类学习的构建过程，其通过按照先 “短” 后 “长” 的句子对训练，最终比标准文本准备训练的模型具有更低的验证误差。
conversational aiconversation modelingsentence structuretraining segmentsmodel optimization
发现论文，激发创造
  • 神经对话模型

    通过序列到序列框架，一种简单的端到端的对话模型方法被提出，在特定的领域和大规模通用领域的数据集上表现出很好的对话效果，并可用于执行常识推理任务。

    Jun, 2015

  • 面向对话代理的持续学习

    本文介绍了一种基于最新的神经网络连续学习技术的领域无关的神经对话模型，同时提出了一种新颖的神经连续学习算法，能够以数据 - 效率的方式跨越不同任务积累技能，在客户支持领域通过从合成对话或人类之间的对话到人 - 计算机对话的连续技能转移来验证方法的功效。

    Dec, 2017

  • 面向对话 AI 的预训练语言模型简要调查 ——NLP 的新时代

    本文概述了预训练语言模型在对话系统中的应用，目的是讨论这些模型是否能克服对话系统所面临的挑战，以及如何利用它们的架构来克服这些挑战，并探讨了对话系统领域的开放性挑战。

    Apr, 2021

  • 基于对话的语言学习

    研究人员在机器学习和自然语言理解方面的不懈探索中探讨了基于对话的语言学习，发现预测前瞻是一种有前途的学习策略，并表明它可以在没有奖励监督的情况下正确地回答问题。

    Apr, 2016

  • 通过回忆门 LSTM 将松散结构化知识融入对话建模

    本文提出了深度神经网络结合领域知识来加强人类对话模型的方法，通过特定设计的回想门模型，将领域知识转化为 LSTM 的额外全局记忆来协作捕捉对话句子之间的语义相关性。同时，我们还介绍了一种松散结构的领域知识库来辅助我们的方法，实验结果表明这种方法在选择定向回应任务上表现良好，非常适合用于训练自动聊天系统。

    May, 2016

  • 基于知识的神经对话模型

    本文针对神经网络模型生成内容不足的对话应用展开了研究，提出了一种全新的、基于数据和知识驱动的神经对话模型，该模型通过同时考虑历史对话和外部 “事实” 来生成更有用的回应，实验证明该方法在开放领域中具有广泛应用前景，相较于基线模型的 Seq2Seq 方法，能够显著提高输出的信息量。

    Feb, 2017

  • 训练语言模型概括叙述能够提高大脑对齐

    训练自然语言处理系统以深入理解语言是该领域的中心目标之一。本文从人类大脑理解自然语言的角度出发，研究了使用叙述数据集进行深层次叙事理解训练的语言模型是否真正学习了更深层次的文本理解，并表明了这种训练可以带来更好的大脑 - 自然语言处理对齐性、可以使语言模型在长距离文本理解方面取得改进。

    Dec, 2022

  • 卷积神经网络架构匹配自然语言句子

    本篇研究提出了一种卷积神经网络模型来匹配两个句子，并应用于不同语言和不同性质的匹配任务中，实验证明该模型表现出了良好的性能和比竞争模型更优的结果。

    Mar, 2015

  • 神经对话模型和如何控制：失败和修复的调查

    探讨了基于强大语言模型的开放领域会话系统，从语言学角度解释了 Grice 的合作会话标准，并从使得贡献适切的角度系统化了相关文献：神经会话模型必须流畅、信息丰富、一致、连贯，并遵循社会规范。为了确保这些优势，近期的方法尝试通过干预数据、训练模式或解码等方面来控制底层语言模型，我们按照这些类别和干预点讨论了有前途的尝试，并为未来的研究提出了新的方向。

    Aug, 2023

  • 神经文本生成的句子级内容规划和风格规范

    通过端到端训练的两步生成模型，即首先由句子级内容规划器决定涵盖的关键词组和所需的语言风格，然后由表面实现解码器生成相关和连贯的文本，可以显著优于现有竞争模型，在 Reddit 的说服性论证、维基百科的正常和简单版本的段落生成以及科学文章的摘要生成等任务中得到验证。

    Sep, 2019