Jul, 2021

基于互联网的对话生成

PDF
TL;DR本研究探讨在对话过程中通过搜索引擎来提供最新的知识，在用于生成回复时综合搜索结果的效果优于其他方法，如无搜索或基于 FAISS 检索模型的方法。
发现论文，激发创造
  • 利用搜索引擎增强的对话响应生成及廉价监督查询生产

    通过使用查询产生器从动态信息检索引擎检索知识，为聊天机器人生成响应的对话模型中，基于廉价噪声监督的训练算法用于产生查询，调整查询生成器而无需人为标注黄金查询，取得了不错的检索效果，大大提高了聊天机器人响应的质量。

    Feb, 2023

  • 部署后学习新技能：通过人类反馈改进基于互联网的开放领域对话

    研究利用互联网检索获取更新信息并从人类反馈中提升网络聊天技能的算法，并表明了利用 Director 模型可以显著提高性能。

    Aug, 2022

  • 检索增强减少对话中的幻觉

    本文研究了基于神经检索的循环架构在知识驱动的对话中的应用，将多个组件（检索器、排名器和编码器 - 解码器）结合在一起以最大化可知性并保留对话能力，在两个知识驱动的对话任务中实现了最先进的性能，并经过人工评估证实，大大减少了在最先进的聊天机器人中存在的知识幻觉问题。

    Apr, 2021

  • 基于本地知识的对话式代理

    本文介绍了一个基于 Reddit 对话数据集的对话框架，并探讨如何整合局部知识以改善对话质量，研究结果表明，局部知识的整合显著提高了信息性、连贯性和逼真度，且所提出的方法在 Reddit 数据集上表现优于现有方法。同时发现，将模型的参数规模从 117M 扩展到 8.3B 能够显著提高验证困惑度和人工评估指标，使模型在单轮对话设置中生成的响应更加类人。

    Oct, 2020

  • 维基百科巫师：知识驱动的对话代理

    通过从 Wikipedia 中检索知识来生成自然回复，我们的最佳对话模型在 Open-Domain 话题上进行了知识交流，同时我们的新基准允许在这一重要研究方向上进行进一步的改进。

    Nov, 2018

  • 通过少量训练示例提升互联网语言模型用于开放领域问答

    该研究旨在通过使用大规模语言模型（LSLM）独特的少样本能力，借助于 Google 搜索返回的信息对语言模型进行少量提示，从而克服其与现实事实和最新信息相关性的挑战，从而使得模型在开放领域问题回答方面的性能优于相同或更大规模的封闭书模型，同时，增加推理时间的计算能力可以提高模型的性能。

    Mar, 2022

  • 智能友好的对话代理：基于知识和角色认知的应用

    本论文提出了一种有效的对话代理，同时考虑外部知识和个性，通过检索增强生成和知识个性增强查询来生成话语，实现了更少幻觉和更有吸引力的对话，在自动指标上的基于个性和知识的对话任务达到了最先进的性能，同时，通过人类评估和定性结果证明了模型对话的幻觉和吸引力，验证了检索的有效性。

    Jan, 2023

  • 利用潜在知识和对话上下文实现真实世界会话问答

    该论文提出了一种基于神经检索 - 阅读 (Retrieval-Reading) 系统和基于 TFIDF 的文本摘要技术来利用先前的谈话历史中的潜在知识的方法，以便更好地回答问题，并且实验证明该系统显著提高了回答质量。

    Dec, 2022

  • 利用互联网优化大型语言模型

    本文提出一种利用搜索引擎对大型语言模型进行网络增强的方法，通过自适应搜索引擎辅助学习和基于重要区间预测的连续知识学习任务，使模型在各种知识密集型任务中的性能表现显著优于基于检索的增强方法。

    May, 2023

  • 社交媒体语境下的对话模型建立方法

    本文介绍了一种通过模仿社交媒体上的非正式互动改善系统的原始会话能力的方法，并利用 Reddit 上的过滤评论数据作为 seq2seq 生成器的额外上下文，以提高开放域对话系统的能力。

    Jun, 2022