Oct, 2021

Hindsight: 后验引导的检索器训练，用于改进开放式生成

PDF
TL;DR本研究针对开放领域的文本生成任务提出一种使用后验引导检索的监督方法，能够更好地训练检索器、并能够在生成过程中更好地借助语料库语境信息进行生成。实验结果显示，相较于现有方法，文本检索成功率和生成器输出性能均有所提高。
text generationretrieval-based approachcontextual informationopen-ended generationmachine learning
发现论文，激发创造
  • 端到端任务导向对话系统的检索生成对齐

    利用最大边际似然方法训练感知检索器，通过利用生成回应的信号来提高生成回应的质量，并结合元知识指导生成器，以增强知识的利用能力。

    Oct, 2023

  • RetGen: 一个检索和基于生成式文本生成的联合框架模型

    通过联合训练基于语言模型信号的基于文档检索器的生成器及检索器来生成更具信息含量和相关性的文本。

    May, 2021

  • 面向任务导向对话系统的双向反馈知识检索

    通过整合知识检索和回答生成，本研究提出了一种检索生成器架构，利用检索器获取相关知识并生成系统回应，并通过生成器的反馈建立检索训练标签，通过对三个基准数据集的实验结果证明了方法在任务导向对话任务中的优越性能。

    Oct, 2023

  • 检索即生成

    我们提出了一种新颖的方法，通过从一系列支持文件中选择上下文相关的短语来生成文本，并使用语言学启发式方法初始化训练阐述，并通过迭代的自我增强来加强训练阐述。实验证明，与标准语言模型相比，我们的模型在各种知识密集型任务上不仅表现出色，而且在开放式文本生成中表现出更高的生成质量。我们的模型在 OpenbookQA 上将准确性从 23.47% 提高到 36.27%，在开放式文本生成中的 MAUVE 得分从 42.61% 提高到 81.58%。值得注意的是，我们的模型在几个检索增强基准中实现了最佳性能和最低延迟。总之，我们断言检索是更准确的生成，并希望我们的工作能够鼓励进一步研究这一新的转变。

    Feb, 2024

  • 基于证据性引导的知识密集型自然语言处理任务生成

    本文介绍一种新的方法，通过多任务学习框架和银标签法来预测每个句子的证据性，并将其集成到生成模型的训练中，从而提高了知识密集型 NLP 任务中的生成模型的表现，尤其是在 FaVIQ-Ambig 上。

    Dec, 2021

  • 利用生成模型结合段落检索进行开放域问答

    研究使用生成模型在开放领域问答中的表现，发现利用文本段落检索可以显著提高性能，证明生成模型擅长聚合和组合多个段落的证据，同时在 Natural Questions 和 TriviaQA 开放式基准测试中取得最好的结果。

    Jul, 2020

  • 利用潜在知识和对话上下文实现真实世界会话问答

    该论文提出了一种基于神经检索 - 阅读 (Retrieval-Reading) 系统和基于 TFIDF 的文本摘要技术来利用先前的谈话历史中的潜在知识的方法，以便更好地回答问题，并且实验证明该系统显著提高了回答质量。

    Dec, 2022

  • 使用迭代检索生成协同技术增强检索增强型大型语言模型

    本研究提出一种名为 Iter-RetGen 的方法，通过检索和生成的迭代协同作用，以全面地处理检索到的知识并在不受结构约束的情况下实现灵活的生成，而这可以在多跳问答、事实验证和常识推理等任务中实现可比甚至优于现有检索辅助基准的效果，同时减少检索和生成的开销，从而提高了性能。

    May, 2023

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 用图引导的多轮检索方法解决面向对话的开放领域问答

    本文提出了一种基于图模型和关联反馈的检索方法，用于连续的问答交互中提高检索效率和准确性。实验结果显示，与当前流行的方法相比，该方法大幅提高了问题回答的 F1 得分。

    Apr, 2021