Nov, 2023

ATLANTIC: 结构感知的检索增强语言模型用于跨学科科学

PDF
TL;DR我们提出了一种结构感知的检索增强语言模型，通过在预训练模型中检索并融合具有结构关系的科学文档，来改善检索到的内容的相关性、准确性和连贯性。
large language modelsretrieval augmentationstructural relationshipsscientific tasksstructure-aware retrieval
发现论文，激发创造
  • 评估检索增强型大型语言模型在科学文件推理中的有效性

    本研究通过关键字检索对多种大型语言模型进行评估，发现这些模型在科学文档推理任务中会使用编造的证据来支持预测，利用科学语料库进行预训练无法减轻证据捏造的风险。

    Nov, 2023

  • 通过大型语言模型重定义结构化数据库的信息检索

    本文介绍了一种名为 ChatLR 的新型检索增强框架，主要利用大型语言模型（LLMs）的强大语义理解能力作为检索器，以实现精确和简洁的信息检索。通过在金融领域微调 LLM 并构建基于 LLM 的搜索和问答系统，实验证明 ChatLR 在解决用户查询中表现出高达 98.8％的信息检索准确性。

    May, 2024

  • 语言的更多空间：探究检索对语言模型的影响

    利用 “理想检索” 方法研究检索增强语言模型，评估检索增强对语言模型行为的影响，观察到这些模型在权重保存方面具有更少的世界知识，在理解局部上下文和词间依赖方面表现更好，但在理解全局上下文方面表现更差。

    Apr, 2024

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • LLM-Augmented Retrieval: 借助语言模型和文档级嵌入增强检索模型

    该研究论文介绍了一种基于模型无关的文档级嵌入框架，通过大型语言模型（LLM）增强，改进了检索模型训练过程中的一些重要组件，如负采样、损失函数等。通过实现这个 LLM 增强的检索框架，我们显著提高了广泛使用的检索模型（如 Bi-encoders 和 late-interaction models）的效果，并在 LoTTE 数据集和 BEIR 数据集上取得了最新的研究成果。

    Apr, 2024

  • 可靠、适应性强、可归因的检索式语言模型

    通过在推理过程中引入大规模数据存储，检索增强的语言模型（retrieval-augmented LMs）可以更可靠、适应性更强且更具可追溯性，然而目前在超越知识密集型任务（如问答）以外的领域，检索增强的语言模型尚未被广泛采用，这需要重新考虑数据存储和检索器、改进检索器和语言模型组件之间的交互以及在高效训练和推理方面进行大规模投资。

    Mar, 2024

  • 重塑检索增强语言模型以回答查询

    该研究探讨了大型语言模型的实际效果，并对比了检索增强语言模型的潜力。研究发现，与普通的大型语言模型不同，半参数语言模型将来自外部数据源的模型参数和知识结合起来进行预测。该模型通过视图、查询分析器 / 规划器和来源信息的创新应用使问题回答系统在精度和效率方面显著增强，可能还可用于其他 NLP 任务。

    Jun, 2023

  • 语料库结构、语言模型和即席信息检索

    本文提出了一种基于语言模型的信息检索算法框架的新方法，并将类似文档群的信息整合进去以提高检索效果；实验结果表明，即使是此新方法中的较简单算法也能优于标准语言模型方法，并且我们的新插值算法在所有测试语料库中均能显著提高精度和召回率表现。

    May, 2004

  • REALM: 检索增强语言模型预训练

    本文介绍了一种利用潜在知识检索器扩充语言模型预训练，并将其应用于开放域问答任务中，实现了良好的效果和可解释性。

    Feb, 2020

  • 提升检索增强语言模型对无关背景的鲁棒性

    使用检索增强语言模型 (Retrieval-augmented language models, RALMs) 在处理特定应用场景问题时，检索到的信息能够提高模型的性能，并且不会损害性能。该研究分析了五个开放领域问答基准，并提出了两种方法以减轻性能下降问题。

    Oct, 2023