面向任务的对话中基于非结构化知识的高效检索增强生成
本研究针对限定领域 API 的局限性,采用一种基于查询 - 选择 - 回应的方法,引入了外部非结构化知识资源,通过对话上下文信息的提取和增强实现了对超出 API 覆盖范围用户请求的响应,并在 DSTC9 Track 1 基准数据集上实现了全自动和人工评估的最优性能,验证了我们的贡献的有效性。
Jun, 2021
任务驱动的对话系统使用外部非结构化知识源来扩展任务领域 API 的覆盖范围,三个任务包括知识寻找、选择和响应生成,并用集成方法和大规模预训练语言模型取得了高性能。
Jan, 2021
本文描述利用预训练语言模型及粗层次知识信息进行基于任务的对话建模,实现对话历史和知识访问的响应生成,并在模型最终输出的基础上进行后处理策略以进一步提升知识应用,在客观指标下获得第二名,在人类指标下获得第四名的实验结果。
Dec, 2020
我们提出了一种迭代检索 - 生成的协作框架,该框架可以利用参数化和非参数化知识,帮助找到正确的推理路径,并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型,在单跳和多跳问答任务上取得了显著的改进。
Oct, 2023
通过整合知识检索和回答生成,本研究提出了一种检索生成器架构,利用检索器获取相关知识并生成系统回应,并通过生成器的反馈建立检索训练标签,通过对三个基准数据集的实验结果证明了方法在任务导向对话任务中的优越性能。
Oct, 2023
提出一种基于检索的方法,以加强 TOD 系统中的知识选择,并结合半监督学习进行潜变量模型,该模型可以与知识检索器一起利用有标签和无标签的对话数据。实验证明,该方法在有标签和半监督设置下均优于传统的数据库查询方法。
May, 2023
本文提出一种名为 TARG 的基于主题的响应生成模型,改进了基于词或句子相似度来检测相关知识背景的方法,用主题信息来提高对话历史的理解,取得了知识选择和响应生成上的最新成果。
Dec, 2022
本文总结了我们在第 9 和 10 个对话系统技术挑战赛(DSTC9 和 DSTC10)的文档驱动对话任务中的贡献,包括知识选择,数据增强,响应生成和评估指标等领域。
Apr, 2023
该研究研究了面向知识密集型任务的检索增强式生成模型的多任务训练。通过利用知识密集型生成的独特属性:查询 - 答案对与知识库中项目的联系,我们提出了一种清理训练集的方法。使用关联性标签的置信度阈值过滤训练样本,以确定是否可以通过知识库回答一对查询 - 答案。我们在 KILT 基准测试的七个组合任务上对单个 FiD 生成器进行训练。实验结果表明,我们简单而有效的方法大大改进了两个强烈不平衡的任务上的竞争基线,并在其余任务上显示出较小的改进或无显着退步。此外,我们表明,与增加的模型容量一样,我们的关联标签采样的多任务训练能够良好地缩放,并在 KILT 任务的五项中取得了最佳结果。
Jul, 2022