Nov, 2023

用生成校准的召回器个性化大型语言模型写作助手

PDF
TL;DRPEARL is a retrieval-augmented LLM writing assistant that addresses the lack of personalization in LLM outputs, using a generation-calibrated retriever to select user-authored documents for prompt augmentation, resulting in improved generation quality and performance prediction.
发现论文，激发创造
  • 个性化大型语言模型的优化方法：通过检索增强

    本研究论文探讨了扩展的检索方法用于个性化大型语言模型，通过两种优化算法从下游任务获取反馈进行检索优化，并引入了一个预生成和后生成的检索模型来决定每个语言模型输入应选择哪个检索器。在多个任务中进行了大量实验，并获得了显著的统计结果。

    Apr, 2024

  • 通过大型语言模型整合总结和检索，实现个性化增强

    通过使用离线总结和运行时检索，我们提出了一种新颖的基于总结的方法，扩展了基于检索的个性化，以实现更好的实时系统性能，并在实际约束下取得了更好的个性化性能。

    Oct, 2023

  • Persona-DB: 高效的大型语言模型个性化应答预测与协同数据精炼

    通过引入 Persona-DB 框架，本文从一个新的角度考虑数据如何更好地表示，以实现对大型语言模型 (LLMs) 定制过程中更高效的检索，同时在多个实验中展示了 Persona-DB 在任务上下文中的泛化能力和在冷启动情况下的显著改进。

    Feb, 2024

  • Pearl: 一个基于评论的个性化知识驱动对话推荐数据集

    我们提供了一个新颖的对话推荐数据集 PEARL，通过增加个性化和知识增强的 LLM 模拟器，从真实世界的评论中获得详细的人物角色和知识，构建了一个包含超过 57k 个对话的大规模数据集。我们的实验结果表明，PEARL 中的话语包括更具体的用户偏好，展示了目标领域的专业知识，并提供比之前的数据集更相关于对话上下文的推荐。

    Mar, 2024

  • PALR: 面向个性化的推荐学习模型

    本文提出了一种名为 PALR 的新框架，旨在将用户历史行为与大型语言模型相结合，生成用户喜欢的商品。实验结果表明，与现有方法相比，我们的解决方案在各种连续推荐任务上表现优异。

    May, 2023

  • PEARL: 激励大型语言模型计划和执行长文档操作

    提出了一种采用 zero-shot 或 few-shot prompting 策略的语言模型 (LLM) 的框架 PEARL, 用于处理长文档上的复杂推理问题，并在 QuALITY 数据集上得到了优异的性能表现。

    May, 2023

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 可靠、适应性强、可归因的检索式语言模型

    通过在推理过程中引入大规模数据存储，检索增强的语言模型（retrieval-augmented LMs）可以更可靠、适应性更强且更具可追溯性，然而目前在超越知识密集型任务（如问答）以外的领域，检索增强的语言模型尚未被广泛采用，这需要重新考虑数据存储和检索器、改进检索器和语言模型组件之间的交互以及在高效训练和推理方面进行大规模投资。

    Mar, 2024

  • 基于 LLM 的问答系统中检索组件的评估

    评估大规模语言模型在问答系统中的检索组件性能的基线方法。

    Jun, 2024

  • 适应增强的召回器作为通用插件提升语言模型的泛化能力

    以通用的文本检索插件为基础，通过增强适应性的文本检索器 (AAR)，为各种语言模型 (large target LMs ranging from 250M Flan-T5 to 175B InstructGPT) 提供外部知识，从而显着提高零样本推理的泛化能力。

    May, 2023