训练融合解码器中的上下文质量对于开放领域问答的重要性
在开放领域问答系统中,为了避免检索到的结果中出现不相关和虚假的上下文,通过多层次的粒度来识别相关证据的融合解码器模型被提出,该模型在多任务学习的基础上,通过将显著的句子聚合为一个锚向量来指导解码器,并通过复用重排列结果来提高解码效率。实验证明,该模型在自然问题和文学问题数据集上的性能优于现有模型,凸显了其多粒度解决方案的好处。
Apr, 2024
在大语言模型的时代,应用检索增强生成等技术可以更好地解决开放领域问题回答问题。本文提出了一种通用方便的方法来覆盖更长的上下文,以在开放领域的问答任务中应用。我们的实验证明,在精调后,在两个保留数据集、四个留存数据集和两个上下文学习设置中,性能得到了提高。
Apr, 2024
介绍一种用于 Open-Domain Question Answering 系统的 Rational Fusion-in-Decoder (RFiD) 模型,该模型利用 FiD 的编码器来区分因果关系和虚假特征,从而指导解码器生成基于此判断的答案,并在两个 ODQA 数据集上实现了最高 1.5 和 0.7 的精确匹配得分提高
May, 2023
提出了 FILCO 方法,通过词汇和信息论方法识别有用的上下文,并训练上下文过滤模型以改善生成模型的质量,从而在提取式问答、复杂多跳和长篇问答、事实验证和对话生成任务上优于现有方法。
Nov, 2023
本文提出了一种新方法 KG-FiD,利用知识图谱过滤有噪声的检索段落,以及基于图神经网络的重排序方法,以提高开放域问答模型 FiD 的效率和准确性。
Oct, 2021
利用预训练语言模型(LMs)和知识图谱(KGs)解答问题存在识别相关知识和进行联合推理的挑战。通过与先前发表的 QAGNN 方法进行比较,我们发现将相关的知识事实纳入问题上下文有助于提高问题回答性能,而将知识图谱融入语言模型中则只能带来少量增长,这表明将上下文知识事实结合起来可能对增强问题回答性能更具影响力。
Dec, 2023
通过分析检索到的段落对阅读器模型性能的贡献和必要性,以及在令牌级别上消除一些可能对答案生成过程没有贡献的检索信息,我们证明了我们的方法能够在最多减少 62.2% 运行时间的同时,只有 2% 的性能下降甚至在某些情况下提高性能结果。
Oct, 2023
该研究研究了面向知识密集型任务的检索增强式生成模型的多任务训练。通过利用知识密集型生成的独特属性:查询 - 答案对与知识库中项目的联系,我们提出了一种清理训练集的方法。使用关联性标签的置信度阈值过滤训练样本,以确定是否可以通过知识库回答一对查询 - 答案。我们在 KILT 基准测试的七个组合任务上对单个 FiD 生成器进行训练。实验结果表明,我们简单而有效的方法大大改进了两个强烈不平衡的任务上的竞争基线,并在其余任务上显示出较小的改进或无显着退步。此外,我们表明,与增加的模型容量一样,我们的关联标签采样的多任务训练能够良好地缩放,并在 KILT 任务的五项中取得了最佳结果。
Jul, 2022