May, 2023

基于表面的检索降低检索增强语言模型的困惑度

PDF
TL;DR本文通过重新构建语义检索机制以 surface-level 方法代替 BM25 方法，成功降低语言模型 perplexity 并提高性能。
language modelsretrieval mechanismsemantic retrievalbm25perplexity reduction
发现论文，激发创造
  • RETRONLU：检索增强的任务导向语义解析

    使用检索式建模的思想，为会话助手的多领域任务定向语义解析问题引入了 RetroNLU 方法，通过在序列到序列模型中扩展检索部件，我们的技术在语义解析的不同语言表达复杂度下均比基线更为出色，尤其是在数据稀缺环境下，只需 40％的数据即可达到基线模型准确度的匹配，超越基线方法 1.5％的绝对宏 - F1。

    Sep, 2021

  • 语言的更多空间：探究检索对语言模型的影响

    利用 “理想检索” 方法研究检索增强语言模型，评估检索增强对语言模型行为的影响，观察到这些模型在权重保存方面具有更少的世界知识，在理解局部上下文和词间依赖方面表现更好，但在理解全局上下文方面表现更差。

    Apr, 2024

  • 从数十万亿的标记中检索以提高语言模型

    通过从大型语料库中检索与前面 token 相似的文档块来改善自回归语言模型的条件，并创建 Retrieval-Enhanced Transformer（RETRO），该模型在 Pile 数据集上的表现与 GPT-3 和 Jurassic-1 相当。 RETRO 结合一个冻结的 Bert 检索器，一个可微分的编码器和一个分块交叉关注机制，可以基于比通常在训练期间消耗的数据量高一个数量级的数据预测 token，并在 fine-tuning 后转化为下游的 knowledge-intensive 任务，例如问答等，这一研究为利用显式记忆来提高语言模型的性能开辟了新的途径。

    Dec, 2021

  • 关于检索增强的 Transformer 的泛化能力

    该研究探讨了 Retrieval-Enhanced Transformer（RETRO）模型的性能以及性能提升的原因，发现检索数据库可显著提高语言建模的效果，但其性能提升主要来自于测试数据与数据库的重叠标记。该研究还指出，检索增强的语言模型对于其泛化能力的评估存在一定挑战，即使是有限的标记重叠也可能显著降低测试损失。

    Feb, 2023

  • 基于嵌入的零样本检索通过查询生成

    本文通过采用两塔架构来建立神经检索模型，并提出了一种新的用于检索的合成数据生成方法，显著优于基于词汇匹配算法的 BM25，并在 5 个测试数据集中平均提高 Recall@1 指标 2.45 个点。

    Sep, 2020

  • 我们是否应该使用检索方法预训练自回归语言模型？一项全面研究

    通过引入检索机制可以提高大型解码器语言模型的困惑度和生成质量，本文提出了一种可扩展的预训练检索增强语言模型，它在实验证明了在知识密集型任务上优于标准 GPT，未来这可能是预训练自回归 LM 的有前途的方向。

    Apr, 2023

  • 检索有益还是有害？对语言模型检索增强效果的深入研究

    通过研究大型语言模型的自身限制以及外部信息检索的有效性，本研究构建了一个新的问答数据集 WiTQA，以探索实体和关系的组合对于信息检索和知识回忆方面的影响，从而提出了一个基于实体和关系频率的自适应检索系统。

    Feb, 2024

  • 使用迭代检索生成协同技术增强检索增强型大型语言模型

    本研究提出一种名为 Iter-RetGen 的方法，通过检索和生成的迭代协同作用，以全面地处理检索到的知识并在不受结构约束的情况下实现灵活的生成，而这可以在多跳问答、事实验证和常识推理等任务中实现可比甚至优于现有检索辅助基准的效果，同时减少检索和生成的开销，从而提高了性能。

    May, 2023

  • 学术检索中语言模型的低效性：一个实验性概述

    评估科学语言模型在处理短查询文本和文本邻居时的能力，并通过小扰动生成的文本邻居证明不是所有扰动都会导致嵌入空间中的接近邻居。此外，研究发现检索性能更受文本表面形式的影响，而不是文本的语义。

    Mar, 2022

  • 评估信息检索嵌入式 API

    通过对话题建模，本文分析了语义嵌入 API 在真实检索场景中的行为，如能力，成本及最佳实践等问题，为读者提供了适合其需要的合适的服务建议。

    May, 2023