Oct, 2023

通过标记消除优化检索增强阅读模型

PDF
TL;DR通过分析检索到的段落对阅读器模型性能的贡献和必要性，以及在令牌级别上消除一些可能对答案生成过程没有贡献的检索信息，我们证明了我们的方法能够在最多减少 62.2% 运行时间的同时，只有 2% 的性能下降甚至在某些情况下提高性能结果。
fusion-in-decoderretrieval-augmented language modelgenerative modeldecoding timeanswer generation
发现论文，激发创造
  • FiDO：面向更强性能和更快推理优化的解码器融合

    使用两项简单的变更加速 FiD 架构的推理速度，并允许更大的 Decoder。我们称具有以上修改的 FiD 为 FiDO，并表明它在各种推理预算范围内均表现出更好的性能。

    Dec, 2022

  • FiD-Light: 高效且有效的检索增强型文本生成

    本文介绍了 FiD-Light 模型，通过限制编码器向解码器的信息流并使用文本源指针来重新排名，从而强烈增强了最新的 retrieval-augmented FiD 模型的性能，提高了文本生成和 provence 检索评估任务的新的最先进结果。

    Sep, 2022

  • RFiD：用于开放领域问答的理性融合解码器

    介绍一种用于 Open-Domain Question Answering 系统的 Rational Fusion-in-Decoder (RFiD) 模型，该模型利用 FiD 的编码器来区分因果关系和虚假特征，从而指导解码器生成基于此判断的答案，并在两个 ODQA 数据集上实现了最高 1.5 和 0.7 的精确匹配得分提高

    May, 2023

  • KG-FiD：将知识图谱融入解码器中进行开放领域问答

    本文提出了一种新方法 KG-FiD，利用知识图谱过滤有噪声的检索段落，以及基于图神经网络的重排序方法，以提高开放域问答模型 FiD 的效率和准确性。

    Oct, 2021

  • FiD-Ex: 改进序列到序列模型以进行摘要理由生成

    本文介绍一种名为 FiD-Ex 的模型，它采用序列到序列的结构，通过引入句子标记、融合解码器结构和中间微调等方法来解决 Seq2Seq 模型中的问题，显著提高了模型的解释效果和准确性。

    Dec, 2020

  • 多粒度引导的解码中融合

    在开放领域问答系统中，为了避免检索到的结果中出现不相关和虚假的上下文，通过多层次的粒度来识别相关证据的融合解码器模型被提出，该模型在多任务学习的基础上，通过将显著的句子聚合为一个锚向量来指导解码器，并通过复用重排列结果来提高解码效率。实验证明，该模型在自然问题和文学问题数据集上的性能优于现有模型，凸显了其多粒度解决方案的好处。

    Apr, 2024

  • 将多跳问题回答建模为单序列预测

    本文提出了一种简单而具有解释性的生成方法 (PathFid)，通过显式建模推理过程来解决多跳问题的答案生成。通过线性化支持段落、关键句子和事实答案的分层推理路径，将问题作为单一序列预测任务，并编码跨段落互动以促进复杂推理。实验证明，PathFid 在 HotpotQA 和 IIRC 两个多跳 QA 数据集上均具有很强的表现优势，并且结果更接近支持文本和事实。

    May, 2022

  • 训练融合解码器中的上下文质量对于开放领域问答的重要性

    本研究探讨了上下文数量和质量对基于检索增强生成模型的训练性能的影响，并提出了一种通过引入偏差来缓解对特定上下文质量过拟合的方法，能够有效提高该模型在不同上下文质量下的表现。

    Mar, 2024

  • 多轮主题驱动对话中有效信息利用的探究

    该研究通过 Fusion-in-Decoder 技术，采用多个通道对话历史和主题信息进行编码，实现了对长文本的多方面信息的利用，通过实验发现整篇文章通道加上历史通道的方法在 NaturalConv 数据集上的表现比较竞争性。

    Sep, 2022

  • R$^2$F: 一个面向文档级自然语言推理的通用检索、阅读和融合框架

    本论文提出了 R2F 框架来解决 DOCLNI 的主要挑战：可解释性、长跨度依赖和跨句子推理，并支持多样化的证据检索方法，为每个假设语句从前提中检索出相应的证据语句并进行可信度评估，最后将句子级的结果融合来判断文档之间的关系，实验结果表明 R2F 框架可以获得最先进的性能，而且可以给出更可解释的预测结果。

    Oct, 2022