RFiD:用于开放领域问答的理性融合解码器
本文提出了一种新方法 KG-FiD,利用知识图谱过滤有噪声的检索段落,以及基于图神经网络的重排序方法,以提高开放域问答模型 FiD 的效率和准确性。
Oct, 2021
在开放领域问答系统中,为了避免检索到的结果中出现不相关和虚假的上下文,通过多层次的粒度来识别相关证据的融合解码器模型被提出,该模型在多任务学习的基础上,通过将显著的句子聚合为一个锚向量来指导解码器,并通过复用重排列结果来提高解码效率。实验证明,该模型在自然问题和文学问题数据集上的性能优于现有模型,凸显了其多粒度解决方案的好处。
Apr, 2024
通过分析检索到的段落对阅读器模型性能的贡献和必要性,以及在令牌级别上消除一些可能对答案生成过程没有贡献的检索信息,我们证明了我们的方法能够在最多减少 62.2% 运行时间的同时,只有 2% 的性能下降甚至在某些情况下提高性能结果。
Oct, 2023
本文提出了一种简单而具有解释性的生成方法 (PathFid),通过显式建模推理过程来解决多跳问题的答案生成。通过线性化支持段落、关键句子和事实答案的分层推理路径,将问题作为单一序列预测任务,并编码跨段落互动以促进复杂推理。实验证明,PathFid 在 HotpotQA 和 IIRC 两个多跳 QA 数据集上均具有很强的表现优势,并且结果更接近支持文本和事实。
May, 2022
提出一种新颖的开放领域问答框架,使用中介模块对异构知识源上的单跳 / 多跳问题进行回答。在预训练语言模型的基础上,通过将检索到的证据与其相关的全局上下文链接到图中,并将它们组织成候选证据链,实现了竞争性的性能。在两个 ODQA 数据集 OTT-QA 和 NQ 上,我们的模型显著优于之前最先进的方法,在 OTT-QA 上具有 47.3 的精确匹配分数(相对增益 45%)。
Oct, 2022
使用两项简单的变更加速 FiD 架构的推理速度,并允许更大的 Decoder。我们称具有以上修改的 FiD 为 FiDO,并表明它在各种推理预算范围内均表现出更好的性能。
Dec, 2022
本研究探讨了上下文数量和质量对基于检索增强生成模型的训练性能的影响,并提出了一种通过引入偏差来缓解对特定上下文质量过拟合的方法,能够有效提高该模型在不同上下文质量下的表现。
Mar, 2024
本文介绍一种名为 FiD-Ex 的模型,它采用序列到序列的结构,通过引入句子标记、融合解码器结构和中间微调等方法来解决 Seq2Seq 模型中的问题,显著提高了模型的解释效果和准确性。
Dec, 2020
本文提出了一种基于数据和文本的统一问答框架 UDT-QA,并使用数据到文本方法将 Wiki 百科中的表格和 Wikidata 中的图表达为口语化信息,以扩展知识索引。实验证明,该方法取得了自然问答 (Single-model state-of-the-art) 的最佳成果,并表明对于调整和热插拔的两种情况,口语化知识的优先考虑可以优化答案推理。
Oct, 2021
通过扩展 Transformer 编码器的能力以融合信息,使用全局表示跨样本注意所有令牌,并提出了一种更好的答案跨度概率计算方法,我们使用与综合数据增强配对的方法,在推理期间只使用 25%的参数和 35%的延迟,在自然问题数据集上的精确匹配分数达到了当前技术水平的 2.5 和 WebQuestions 数据集的 4.4。这种方法的延迟和参数节省特别适用于计算密集型应用,例如开放域问题回答。
Nov, 2022