不一致的对话回应及其恢复方法
这篇论文将对话代理的一致性作为自然语言推理 (NLI) 的任务,并创建了一个名为 Dialogue NLI 的自然语言推理数据集。通过在该数据集上训练模型,提出了一种方法来改善对话模型的一致性,用人类评估和自动指标在一套设计用来衡量对话模型一致性的评估集上进行了评估。
Nov, 2018
我们调查了 ChatGPT 的可靠性和逻辑一致性。发现虽然 ChatGPT 在语言理解能力方面有所提高,但它仍经常无法生成逻辑上正确的预测;因此,我们得出结论:在没有充分人工检查的情况下,在真实世界的风险敏感领域中使用 ChatGPT 需要进一步考虑。
Mar, 2023
为了改进聊天机器人中的矛盾检测,本文提出了一种通过重写聊天机器人发言来还原先行词和省略号的方法,并在相应的数据集上建立了模型,实证结果表明该模型能够显著提高矛盾检测性能。
Jul, 2022
通过对模型生成的矛盾回应进行广泛分析,我们构建了一个大型数据集,并获取了这些模型生成的矛盾的特征,最后展示了该数据集如何大幅提升数据驱动的矛盾抑制方法的性能。
Mar, 2024
利用自然语言推断技术探讨生成持续一致人格的对话,提出基于强化学习框架使用从响应 - 人格对得到的自然语言推断信号作为奖励来生成至关一致的对话,并通过对话者的关注机制编码器 - 解码器来生成基于人格的响应,使用对抗训练的自然度模块和基于自然语言推断的一致性模块来评估生成的响应的一致性,实验表明该方法优于强大的生成基线,特别是在生成响应的人格一致性方面。
Nov, 2019
我们探讨了如何通过 Rational Speech Acts 框架的方法,为已有的对话代理赋予公共自我意识的能力,以强化其一致性并减少矛盾,同时探索了如何在对话中提高背景一致性。
Apr, 2020
通过探索一种新的矛盾对话处理任务,该研究试图检测和修改会话中的矛盾陈述,以减轻当前语言模型在对话中自相矛盾的问题,并通过开发一个数据集和一个 Red Teaming 框架展示了该任务的有效性,强调了在对话式人工智能中逻辑不一致问题的重要性。
May, 2024
本研究探讨了在线对话中自动引用生成的一些特点,基于对话历史、语言一致性的相互作用,以及与查询转的现有内容的一致性等方面对引文的语境一致性进行了捕捉,并采用编码 - 解码神经框架通过语言生成来继续语境,实现引文的自动化。通过英文和中文两个大规模数据集进行实验,结果表明我们的引文生成模型优于现有的最先进模型。进一步的分析显示,主题、交互和查询的一致性都有助于学习如何在在线对话中引用。
Jun, 2021
本篇论文研究了自然语言理解模型在抓住普遍会话中的一致性方面的应用。为此,作者提出了 DialoguE COntradiction DEtection 任务并创建了一个包含人类与机器人相互矛盾的对话的新型会话数据集。作者进一步比较了基于预训练 Transformer 模型进行矛盾检测的结构化语言表述方法与典型的非结构化方法,并发现结构化语言表述方法在分析与分布式会话中的表现更为健壮且更具可转移性。作者提供了证据表明,他们的最佳矛盾检测模型与人类判断相一致,并可自动评估与提高最先进的生成式聊天机器人的一致性。
Dec, 2020