Oct, 2022

利用外部资源提升 T5 重排模型检索效果

PDF
TL;DR本研究使用商业网络搜索引擎和 Wikipedia 检索高质量信息，探究如何增强基于 T5 的重新排名器，并以实证方式展示如何显着改进 T5 基准下的重新排名器在域内和跨领域重新排名任务中的有效性。
retrieval augmentationt5-based re-rankersexternal corporain-domainzero-shot out-of-domain
发现论文，激发创造
  • 检索有益还是有害？对语言模型检索增强效果的深入研究

    通过研究大型语言模型的自身限制以及外部信息检索的有效性，本研究构建了一个新的问答数据集 WiTQA，以探索实体和关系的组合对于信息检索和知识回忆方面的影响，从而提出了一个基于实体和关系频率的自适应检索系统。

    Feb, 2024

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 语言的更多空间：探究检索对语言模型的影响

    利用 “理想检索” 方法研究检索增强语言模型，评估检索增强对语言模型行为的影响，观察到这些模型在权重保存方面具有更少的世界知识，在理解局部上下文和词间依赖方面表现更好，但在理解全局上下文方面表现更差。

    Apr, 2024

  • 适应增强的召回器作为通用插件提升语言模型的泛化能力

    以通用的文本检索插件为基础，通过增强适应性的文本检索器 (AAR)，为各种语言模型 (large target LMs ranging from 250M Flan-T5 to 175B InstructGPT) 提供外部知识，从而显着提高零样本推理的泛化能力。

    May, 2023

  • 检索增强的无监督跨任务泛化

    本研究提出了一种叫做 ReCross 的检索增强方法，用于提升大规模多任务语言模型在无监督环境下的交叉任务泛化能力。结果表明，该方法显著优于其他基线方法。

    Apr, 2022

  • 通过数据重要性学习改进检索增强的大型语言模型

    通过修剪或重新权重检索语料库，可以提高大型语言模型的性能，无需进行进一步训练。在某些任务中，甚至允许较小的模型（例如 GPT-JT）通过搜索引擎 API 进行扩展，胜过未使用检索增强的 GPT-3.5。此外，我们展示了在实践中可以高效地计算基于多线性扩展的权重（例如，对于包含 1 亿个元素的语料库，计算时间少于十分钟）

    Jul, 2023

  • 基于生成语言建模的可微检索增强方法用于电子商务查询意图分类

    检索增强通过知识检索器和外部语料库提高下游模型的性能，成功应用于许多自然语言处理（NLP）任务，然而，现有的方法由于两个部分之间的不可微性而分别或异步训练检索器和下游模型，通常导致性能下降，与端到端联合训练相比。

    Aug, 2023

  • 零样本检索：用搜索引擎增强预训练模型

    使用 NLP 和多模式学习，该论文介绍了如何通过搜索引擎检索来增强预训练模型，从而在测试时从互联网中检索到有用的数据，并更新模型以解决模型的不确定性，取得了零样本性能的显著改进。

    Nov, 2023

  • 语言模型的即时信息检索增强

    本文的研究重点是探索使用信息检索作为预训练语言模型的增强，通过将信息检索与 GPT 2.0 相结合，可以实现 Gigaword 语料库中的困惑度降低 15％，同时还验证了该增强技术在事件共参考任务上的有效性。

    Jul, 2020

  • 选择与增强：增强型密集检索知识图增强

    使用多任务框架，将文本描述与知识图谱实体相关联，以改进知识图谱的性能，并通过检索模型选择富有信息或高度相关的文本描述来增强实体。实验结果显示，与传统的卷积神经网络相比，使用文本增强的知识图谱方法在链接预测中的 Mean Reciprocal Rank (MRR) 和 Hits@10 分别提高了 5.5% 和 3.5%。

    Jul, 2023