StalemateBreaker: 一种主动引入内容的自动人机对话方法
本文介绍了一种名为“Spot The Bot”的聊天机器人评估框架,该框架使用“生存分析”作为度量标准,并通过与其他聊天机器人的比较,评估其在模拟人类会话行为方面的能力,以此取代传统基于人工评估的方式。
Oct, 2020
本论文旨在构建一种对话代理,能够像人一样自然地将新的事实内容编织到对话中。我们从对话分析的语言学原理中吸取灵感,并对Switchboard对话行为语料库中的人类对话进行注释,以检查人类关于承认、转移、细节选择和展示的策略。我们提出的方法,混合PCMI,通过交换pmi和pcmi_h来取得更好的性能,被人类评估员60%的时间内更喜欢。
Apr, 2021
本研究旨在探索开放域对话中“一轮话题转换任务”的实现方式,收集人类完成该任务的数据,在此基础上,通过应用现有的文本生成模型,评估它们在这个任务上的表现效果。
May, 2021
本文对目前最先进的对话问答系统进行了首次的大规模人类评估,发现人类与机器之间的对话存在显著差异。此外,基于预测历史的问题重写机制能够更好地与人类判断相一致。通过研究各种建模策略,讨论了构建更好的对话问答系统的未来方向。
Dec, 2021
研究创建一个数据集和计算框架,使系统能够与人进行对话并改进其预测,通过实验表明所提出的系统可以通过讨论与人产生益处的对话,从而在自然语言推理任务中提高准确性高达25个百分点。
May, 2023
在自然语言处理领域,开放领域聊天机器人已成为一个重要的研究课题。然而,现有的开放领域聊天机器人研究的主要限制是其对短期单次对话的单一关注,忽视了在进行中的对话之前的多个连续会话中理解上下文信息的潜在需求。在多会话对话设置中,组成上下文的元素中,会话之间的时间间隔和发言者之间的关系尤为重要。尽管它们的重要性,当前的研究工作尚未充分解决这些对话组成部分。本文引入了一个新的100万多会话对话数据集,称为Conversation Chronicles,用于实现一个长期对话设置,其中包含时间间隔和细粒度的发言者关系。我们利用一个大型语言模型生成数据,广泛的人工评估表明,Conversation Chronicles中的对话片段反映了这些特性,同时在所有会话中保持一致和连贯的互动。我们还提出了一个对话模型,称为ReBot,它由仅约630M个参数的按时间顺序总结和对话生成模块组成。当ReBot在Conversation Chronicles上进行训练时,表现出具有高人类参与度的长期上下文理解能力。
Oct, 2023
通过借鉴社会科学和人工智能界的广泛研究,我们提出了一套最大量、最大质量、最大相关度、最大方式、最大善意和最大透明度的法则,旨在描述有效的人工智能对话,并为评估和改进设计提供了规范指导。
Mar, 2024
此研究提供了通过使用对话中的对接行为和对接单元进行标注的两个对话语料库及其对接程度的度量,以测试当前的语言模型在对话的对接行为分类中的性能,并旨在进一步研究使与机器的对话更易理解和更可靠的资源。
Mar, 2024