使用分布式约束在神经对话模型中生成更有趣的回复
本研究论文通过在神经网络里更改目标函数为MMI以替代传统的目标函数来解决对话响应生成任务中的普通、平凡的输出,实验证明这种方法产生了更多样、有趣和恰当的响应,在两个对话数据集上的BLEU评分和人类评估中获得了实质性的提升。
Oct, 2015
该研究探讨了基于深度神经网络的自动生成响应的模型,着重讨论了结构松散的任务,如基于单词级别的对话响应生成,并提出了基于生成的编码器-解码器神经网络架构的新模型,以增强对话的长期历史纪录、建模对话中的不确定性和歧义性、生成具有高级组合结构的响应。
Nov, 2016
该文研究应用序列到序列模型解决对话响应生成问题的方法,使用基于注意力机制的解码器保证响应内容连贯性,并提出了一种名为‘glimpse-model’的实用方法以适应大型数据集,并使用随机beam搜索算法注入多样性来增加生成可接受响应的比例和整体响应长度。
Jan, 2017
本文提出了神经编码器-解码器的语言生成模型中对输出风格和主题进行干预的简单灵活的训练和解码方法,通过基于选择性采样的解码方法和遵循性模型将神经生成过程分解为易于实现的子问题,同时通过一定限制方式和主题限制进行生成,该方法在人机交互任务中的表现不会降低输出质量。
Sep, 2017
本文提出SpaceFusion模型,通过新型规则项,整合了序列到序列模型和自编码器模型的潜在空间,作了多样性和相关性的联合优化从而提高对话模型输出的质量。实验数据表明,与强基线相比,我们的方法在多样性和相关性方面都取得了极大改进。
Feb, 2019
我们提出了一种新的端到端方法,用于内容丰富的神经会话,它将响应生成和按需的机器阅读共同建模,通过在飞行时向对话模型提供相关的长形文本作为外部知识源,每次进行问答式阅读来响应每个对话轮换,支持进一步的知识基础会话研究,我们介绍了一个新的基于外部网页的大规模会话数据集(2.8M轮,7.4M语句),人类评估和自动指标表明,我们的方法相对于各种先前方法,可以获得更加富有内容的响应,从而提高所生成的输出的信息量和多样性。
Jun, 2019
本研究提出了AdaND模型,通过上下文智能生成不同的编码器-解码器参数,包含上下文感知和主题感知两种自适应参数机制。在大规模实际对话数据集上进行的大量实验表明,我们的模型在定量和定性评价方面均取得了更好的性能。
Jan, 2020
本文通过提出一种新的度量方法和一种称为Diversity Threshold Generation的新生成程序来改进对话生成,从而在多样性方面取得了显著进展。
May, 2022
探讨了基于强大语言模型的开放领域会话系统,从语言学角度解释了Grice的合作会话标准,并从使得贡献适切的角度系统化了相关文献:神经会话模型必须流畅、信息丰富、一致、连贯,并遵循社会规范。为了确保这些优势,近期的方法尝试通过干预数据、训练模式或解码等方面来控制底层语言模型,我们按照这些类别和干预点讨论了有前途的尝试,并为未来的研究提出了新的方向。
Aug, 2023