多粒度引导的解码中融合
本文提出了一种新方法 KG-FiD,利用知识图谱过滤有噪声的检索段落,以及基于图神经网络的重排序方法,以提高开放域问答模型 FiD 的效率和准确性。
Oct, 2021
介绍一种用于 Open-Domain Question Answering 系统的 Rational Fusion-in-Decoder (RFiD) 模型,该模型利用 FiD 的编码器来区分因果关系和虚假特征,从而指导解码器生成基于此判断的答案,并在两个 ODQA 数据集上实现了最高 1.5 和 0.7 的精确匹配得分提高
May, 2023
本研究探讨了上下文数量和质量对基于检索增强生成模型的训练性能的影响,并提出了一种通过引入偏差来缓解对特定上下文质量过拟合的方法,能够有效提高该模型在不同上下文质量下的表现。
Mar, 2024
本文提出了一种新的多跳问题回答模型架构,通过应用 CGDe 和 FGIn 两种策略,在 SQuAD 和 HotpotQA 数据集上表现出超越 state-of-the-art 基线的性能。
Jan, 2021
标准问答评估协议未考虑到答案的多粒度性质,与单一粒度的参考答案进行比较。本研究提出 GRANOLA QA 评估设置,用于多粒度答案的准确性和信息量评估。通过对现有数据集进行改进,建立了 GRANOLA-EQ 多粒度实体问题数据集,并在 GRANOLA-EQ 上评估了一系列解码方法,包括 DRAG 算法。实验证明,大型语言模型在标准解码下往往生成具体但错误答案,而 DRAG 算法在多粒度答案上平均提高了近 20 个百分点的准确性,对于罕见实体进一步提高。总体而言,这表明标准评估和解码方法可能严重低估了语言模型所包含的知识。
Jan, 2024
本文提出了一种简单而具有解释性的生成方法 (PathFid),通过显式建模推理过程来解决多跳问题的答案生成。通过线性化支持段落、关键句子和事实答案的分层推理路径,将问题作为单一序列预测任务,并编码跨段落互动以促进复杂推理。实验证明,PathFid 在 HotpotQA 和 IIRC 两个多跳 QA 数据集上均具有很强的表现优势,并且结果更接近支持文本和事实。
May, 2022
利用预训练语言模型(LMs)和知识图谱(KGs)解答问题存在识别相关知识和进行联合推理的挑战。通过与先前发表的 QAGNN 方法进行比较,我们发现将相关的知识事实纳入问题上下文有助于提高问题回答性能,而将知识图谱融入语言模型中则只能带来少量增长,这表明将上下文知识事实结合起来可能对增强问题回答性能更具影响力。
Dec, 2023
本文提出了一种新颖的分层注意力网络,用于阅读理解式问题回答,在问题和段落之间的不同粒度层次上水平和垂直进行注意力和融合。通过具有精细语言嵌入的问题和段落的编码,引入多粒度融合方法来全面融合来自全局和受关注表示的信息。最后,引入分层注意力网络,通过多级软对齐逐步聚焦于答案跨度。广泛的实验在大规模 SQuAD 和 TriviaQA 数据集上验证了所提出方法的有效性,同时在 TriviatQA、AddSent 和 AddOne-Sent 数据集上达到了最先进的结果。
Nov, 2018
本文提出了一种基于问题生成的新型多跳问答方法,通过精心设计端到端的 QG 模块,在上下文理解中提出内在逻辑子问题,从而继承了 QD 方法的可解释性并表现出较高的性能。实验证明,我们提出的 QG 模块是有效的,在流畅性、一致性和多样性方面优于 QD 方法,并获得了人工评估的定量可解释性。
Mar, 2022
通过扩展 Transformer 编码器的能力以融合信息,使用全局表示跨样本注意所有令牌,并提出了一种更好的答案跨度概率计算方法,我们使用与综合数据增强配对的方法,在推理期间只使用 25%的参数和 35%的延迟,在自然问题数据集上的精确匹配分数达到了当前技术水平的 2.5 和 WebQuestions 数据集的 4.4。这种方法的延迟和参数节省特别适用于计算密集型应用,例如开放域问题回答。
Nov, 2022