EMNLPJun, 2024

个性化对话生成的检索增强学习

PDF
TL;DR研究了通过利用人物背景资料和对话背景生成高度个性化的回应的个性化对话生成。提出了一个称为 $ extbf {LAPDOG}$ 的模型，该模型利用外部知识来生成个性化对话。LAPDOG 模型由一个故事检索器和一个对话生成器组成，其中故事检索器利用给定的人物背景资料从故事文档中检索相关信息，对个性化对话进行补充。对话生成器利用对话历史和增强的人物背景资料来生成个性化的回应。实验结果表明，LAPDOG 方法在 CONVAI2 数据集上显著优于基线方法，证明了该方法的有效性。
personalized dialogue generationpersona profilesexternal knowledgestory retrieverdialogue generator
发现论文，激发创造
  • 个性化大型语言模型的优化方法：通过检索增强

    本研究论文探讨了扩展的检索方法用于个性化大型语言模型，通过两种优化算法从下游任务获取反馈进行检索优化，并引入了一个预生成和后生成的检索模型来决定每个语言模型输入应选择哪个检索器。在多个任务中进行了大量实验，并获得了显著的统计结果。

    Apr, 2024

  • Persona-Knowledge 对话多上下文检索和增强解码方法

    本文通过设计一种数据增强策略，运用神经问答检索模型，探讨了 Persona-Knowledge 的识别和响应生成任务，采用不同的解码技术进行对话生成，最终取得了 93.99% 的平均重合度和 23.62 分的 SacreBLEU 分数，成为当前 SOTA 的最佳实践。

    Jul, 2022

  • 基于生成语言建模的可微检索增强方法用于电子商务查询意图分类

    检索增强通过知识检索器和外部语料库提高下游模型的性能，成功应用于许多自然语言处理（NLP）任务，然而，现有的方法由于两个部分之间的不可微性而分别或异步训练检索器和下游模型，通常导致性能下降，与端到端联合训练相比。

    Aug, 2023

  • 用生成校准的召回器个性化大型语言模型写作助手

    PEARL is a retrieval-augmented LLM writing assistant that addresses the lack of personalization in LLM outputs, using a generation-calibrated retriever to select user-authored documents for prompt augmentation, resulting in improved generation quality and performance prediction.

    Nov, 2023

  • 检索增强的端到端口语对话模型

    我们将先前开发的 SLM 模型应用于语音对话应用中，其中对话状态直接从音频信号中推断，通过检索增强的 SLM（ReSLM）改善了识别领域特定实体的困难，提升了模型性能，特别在对话状态跟踪和具有偏置能力的语音自动识别方面具有广泛适用性。

    Feb, 2024

  • 通过 LLM-Cognition 数据增强来概括对话式密集检索

    通过 LLM - 认知数据增强（ConvAug）的方式，本文提出了一个泛化会话密集检索的框架，生成多级增强会话以捕捉会话上下文的多样性，利用认知感知过程减少误报、漏报和幻觉，通过难度自适应的样本筛选改进模型的学习空间，采用对比学习目标训练更好的会话上下文编码器。通过在四个公共数据集上进行广泛实验，包括正常设置和零样本设置，证明了 ConvAug 的有效性、泛化性和适用性。

    Feb, 2024

  • 大型语言模型中的检索增强生成的开发与测试 -- 一份案例研究报告

    大型语言模型（LLMs）在医疗应用中具有重要潜力，而检索增强生成（RAG）被认为是一种有前景的方法来定制 LLMs 中的领域知识。该研究通过开发和评估一个专门针对医疗保健领域、特别关注术前医学的 LLM-RAG 流程，验证了其可行性。

    Jan, 2024

  • 适应增强的召回器作为通用插件提升语言模型的泛化能力

    以通用的文本检索插件为基础，通过增强适应性的文本检索器 (AAR)，为各种语言模型 (large target LMs ranging from 250M Flan-T5 to 175B InstructGPT) 提供外部知识，从而显着提高零样本推理的泛化能力。

    May, 2023

  • 检索增强生成系统：自动数据集创建、评估和布尔代理设置

    检索增强生成（RAG）系统在通过领域特定和时间敏感数据增强大型语言模型（LLM）输出方面非常受欢迎。本文提出了一种严格的数据集创建和评估工作流程，从而定量比较了不同的 RAG 策略，用于布尔代理 RAG 设置的开发和评估。我们在线发布了我们的代码和生成的数据集。

    Feb, 2024

  • 主动检索增强生成

    该论文提出了基于预测未来内容并利用其作为查询来检索相关文档的 Forward-Looking Active Retrieval augmented generation (FLARE) 方法，用以提高在生成长文本时控制语言模型虚构和不准确性的能力。测试证明，FLARE 在 4 个长篇知识密集型生成任务 / 数据集上表现优异，证明了该方法的有效性。

    May, 2023