EMNLPAug, 2021

将大规模生成模型的知识提炼为检索模型，用于高效的开放域对话

PDF
TL;DR提出了一种新的训练方法，称为 G2R（Generative-to-Retrieval distillation），它通过将生成模型的知识注入检索模型中，从而保留检索模型的效率和大规模生成模型的会话能力，通过人工评估等广泛实验证明，使用 G2R 训练的检索型对话系统相比于基准检索模型显示出大幅提高的性能，同时显示出显着较低的推理延迟。
generative modelsretrieval modelsconversation systemsdistillationinference latency
发现论文，激发创造
  • 蒸馏增强的生成式检索

    通过蒸馏技术，提出了一种名为 DGR 的可行框架，利用排名模型作为教师角色，通过专门设计的蒸馏 RankNet loss 来优化生成式检索模型，从而提升了当前生成式检索系统的性能。

    Feb, 2024

  • 使用迭代检索生成协同技术增强检索增强型大型语言模型

    本研究提出一种名为 Iter-RetGen 的方法，通过检索和生成的迭代协同作用，以全面地处理检索到的知识并在不受结构约束的情况下实现灵活的生成，而这可以在多跳问答、事实验证和常识推理等任务中实现可比甚至优于现有检索辅助基准的效果，同时减少检索和生成的开销，从而提高了性能。

    May, 2023

  • 端到端任务导向对话系统的检索生成对齐

    利用最大边际似然方法训练感知检索器，通过利用生成回应的信号来提高生成回应的质量，并结合元知识指导生成器，以增强知识的利用能力。

    Oct, 2023

  • 对话领域适应的混合生成 - 检索 Transformer

    本文提出了基于 GPT-2 微调多领域 MetaLWOz 数据集的混合生成 - 检索模型，具有稳健、多样的响应生成能力，在领域自适应任务中取得了最优结果，并在适应未见过的 MultiWOZ 数据集时表现出竞争力的泛化性能。

    Mar, 2020

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 一种混合检索生成神经对话模型

    本文提出了一种混合神经对话模型，其结合了检索和生成方法的优点，并经实验证明其在 Twitter 和 Foursquare 数据上优于检索方法和生成方法（包括最近提出的基于知识的神经对话模型），这将为构建对话系统提供新的思路。

    Apr, 2019

  • 先理性再回应：知识注入对话模块化生成

    本文提出了一个模块化的知识转换模型（K2R）来将知识纳入对话体系，通过将这一问题分解为两个简单的步骤来解决对该问题的挑战。在详细实验中，我们发现这种模型在与知识相关的对话任务中幻觉较少，并且具有解释性和模块化方面的优势。

    Nov, 2021

  • 基于生成语言建模的可微检索增强方法用于电子商务查询意图分类

    检索增强通过知识检索器和外部语料库提高下游模型的性能，成功应用于许多自然语言处理（NLP）任务，然而，现有的方法由于两个部分之间的不可微性而分别或异步训练检索器和下游模型，通常导致性能下降，与端到端联合训练相比。

    Aug, 2023

  • 利用大型语言模型的生成式多模态知识检索

    我们提出了一种创新的端到端生成框架，用于多模态知识检索，通过利用大型语言模型 (LLMs) 作为虚拟知识库，使用对象感知的前缀调优技术来指导多粒度视觉学习，将多粒度视觉特征对齐到 LLM 的文本特征空间中，通过统一格式的指令数据构建模型训练，最后，我们提出了知识引导的生成策略，在解码步骤中施加先验约束，促进独特知识线索的生成，在三个基准测试中实验证明，与强基线方法相比，在所有评估指标上均取得了 3.0% 到 14.6% 的显著改进。

    Jan, 2024

  • 两者并存：基于检索和生成技术的对话系统集成

    本文提出了一种将检索式和生成式对话系统相结合的方法，将检索到的候选回答与原始查询一起馈送到基于循环神经网络的回答生成器中，以使神经模型了解更多信息。 实验结果表明，这种集成方法明显优于单独使用检索和生成方法。

    Oct, 2016