提出一种新颖的开放领域问答框架,使用中介模块对异构知识源上的单跳 / 多跳问题进行回答。在预训练语言模型的基础上,通过将检索到的证据与其相关的全局上下文链接到图中,并将它们组织成候选证据链,实现了竞争性的性能。在两个 ODQA 数据集 OTT-QA 和 NQ 上,我们的模型显著优于之前最先进的方法,在 OTT-QA 上具有 47.3 的精确匹配分数(相对增益 45%)。
Oct, 2022
为 Adobe 产品建立内部问答系统,提出了一种新的框架来编译大型问答数据库并发展了基于检索感知的大型语言模型微调方法,展示了微调检索器在最终生成中带来的重大改进,降低了生成过程中的幻觉并在上下文中保留了最新的检索信息以实现情境基础。
Apr, 2024
本研究提出了一种基于 transformer 架构的内部逐层注意力机制,将知识库搜索模型和重排模型整合为统一的模型,并进行端到端训练,以实现高效利用模型容量并提高梯度流量。该模型可以在固定参数预算内显著优于现有模型,达到 1.0 和 0.7 的精准匹配得分。
Dec, 2021
本文提出了一种基于短语检索的直接预测答案方法,利用对比学习策略,将上下文的连续对话转化为一个单一的子任务,并在两个 ODConvQA 数据集上进行了验证,结果表明相较于检索器 - 阅读器方法,本方法具有显著优势。
Jun, 2023
本文提出了一种基于数据和文本的统一问答框架 UDT-QA,并使用数据到文本方法将 Wiki 百科中的表格和 Wikidata 中的图表达为口语化信息,以扩展知识索引。实验证明,该方法取得了自然问答 (Single-model state-of-the-art) 的最佳成果,并表明对于调整和热插拔的两种情况,口语化知识的优先考虑可以优化答案推理。
Oct, 2021
本文提出了一种以问答对为基础的编码 - 解码模型,通过该模型的预训练策略,能够在单跳及多跳问题上达到强大性能,并进一步提高了对模型的解释和控制能力,缩小了与段落检索系统之间的性能差距。
Apr, 2022
本文介绍了一种利用潜在知识检索器扩充语言模型预训练,并将其应用于开放域问答任务中,实现了良好的效果和可解释性。
Feb, 2020
本篇论文通过系统地研究检索器的预训练,提出了一种利用反向填空任务和掩盖显著跨度的无监督预训练方法,并在问题 - 上下文对上进行有监督微调的方法。此外还探讨了两种 OpenQA 模型的端对端有监督培训方法,并展示了这些方法在性能方面相对于较小模型的一致性提升。实验结果表明这些方法效果显著优于现有的一些模型。
Jan, 2021
本文提出了一种检索 - 阅读器模型,该模型能够在回答问题过程中学习关注必要的词语,该模型包括一个选择器来确定问题中最重要的词语,再重新制定查询,搜索相关证据; 和一种增强阅读器来区分必要词语和分心的词语以预测答案,在多个开放域多项选择 QA 数据集上进行了评估,尤其在 AI2 推理挑战(ARC)数据集上达到了业界最高水平。
Aug, 2018
通过使用 Retrieval as Attention (ReAtt) 和 Transformer,我们的研究表明,通过端到端的培训,单个模型可以同时实现有竞争力的提取和问答表现,在监督和无监督的设置中显著提高其在超领域数据集上的性能。
Dec, 2022