Nov, 2023

学习上下文过滤以增强检索辅助生成

PDF
TL;DR提出了 FILCO 方法，通过词汇和信息论方法识别有用的上下文，并训练上下文过滤模型以改善生成模型的质量，从而在提取式问答、复杂多跳和长篇问答、事实验证和对话生成任务上优于现有方法。
on-the-fly retrievalgeneration modelscontext filteringquestion answeringfact verification
发现论文，激发创造
  • 利用潜在知识和对话上下文实现真实世界会话问答

    该论文提出了一种基于神经检索 - 阅读 (Retrieval-Reading) 系统和基于 TFIDF 的文本摘要技术来利用先前的谈话历史中的潜在知识的方法，以便更好地回答问题，并且实验证明该系统显著提高了回答质量。

    Dec, 2022

  • 训练融合解码器中的上下文质量对于开放领域问答的重要性

    本研究探讨了上下文数量和质量对基于检索增强生成模型的训练性能的影响，并提出了一种通过引入偏差来缓解对特定上下文质量过拟合的方法，能够有效提高该模型在不同上下文质量下的表现。

    Mar, 2024

  • 提升检索增强语言模型对无关背景的鲁棒性

    使用检索增强语言模型 (Retrieval-augmented language models, RALMs) 在处理特定应用场景问题时，检索到的信息能够提高模型的性能，并且不会损害性能。该研究分析了五个开放领域问答基准，并提出了两种方法以减轻性能下降问题。

    Oct, 2023

  • 在基于检索的聊天机器人中进行知识驱动的响应选择之前进行过滤

    本文提出了一种名为 FIRE 的方法，通过上下文过滤和知识过滤构建了知识感知的上下文表示和上下文感知的知识表示，然后在此基础上通过迭代参考来收集深度匹配特征以评分响应候选者，实验结果表明 FIRE 在 PERSONA-CHAT 数据集和 CMU_DoG 数据集上的表现优于以前的方法，同时具有更好的可解释性。

    Apr, 2020

  • 多重评论融合上下文

    本研究提出了一种模块化的方法，用于在多文档环境中生成包含目标信息的连贯文本，为进一步探索模块化文本生成提供了基础，提高了生成内容的质量和可靠性。

    Mar, 2024

  • 通过事实一致性模型学习生成带有引文的答案

    提出了一种利用事实一致性模型进行弱监督微调的方法，通过在生成的文本中添加引用并使用经过过滤的引文数据进行监督微调，以提高生成的内容的可验证性，并在 ALCE few-shot 引文基准上展示了超过上下文学习、纯监督微调和最先进方法的平均提高，同时在领域转移设置中表明所得到的引文生成能力在未见过的数据集上具有稳健性，并且在基线对比中具有最低的事实错误率。

    Jun, 2024

  • BlendFilter：通过查询生成融合和知识过滤推进检索增强大型语言模型

    BlendFilter 是一种新颖的方法，通过整合查询生成和知识过滤，提升检索增强的大规模语言模型（LLMs）的效果，实验证明其在开放域问答中显著超越了现有方法。

    Feb, 2024

  • 生成而非检索：大型语言模型是强大的上下文生成器

    本文提出了一种新的方法 GenRead，它使用大型语言模型生成上下文文档来解决开放领域 QA 等知识密集型任务，并且借助基于聚类的提示方法来选择不同的提示从而提高回收率，实验证明相比于传统的检索 - 阅读模型，这种方法有更高的准确性。

    Sep, 2022

  • 通过向量化上下文改进基于检索的开放领域问答

    在大语言模型的时代，应用检索增强生成等技术可以更好地解决开放领域问题回答问题。本文提出了一种通用方便的方法来覆盖更长的上下文，以在开放领域的问答任务中应用。我们的实验证明，在精调后，在两个保留数据集、四个留存数据集和两个上下文学习设置中，性能得到了提高。

    Apr, 2024

  • 充分利用上下文的 LLM

    通过信息密集型（IN2）训练，我们提出了一种完全数据驱动的解决方案来克服长上下文的缺失问题，该方法能够有效地利用长上下文中的信息，并且在现实世界的长上下文任务中显著提高性能。

    Apr, 2024