基于 RAG 的对话系统生成建议问题的动态情境
近年来对长期记忆对话代理的兴趣越来越浓，这导致了使用检索增强生成（RAG）的语言模型的快速发展。本论文主张，在从长对话数据中进行有效的检索面临两个独特的问题：1）基于时间 / 事件的查询，要求模型根据时间或对话事件的顺序（例如，星期二的第三次对话）检索先前对话的信息；2）需要周围对话上下文才能理解的模糊查询。为了更好地开发能够应对这些挑战的 RAG 代理，我们生成了一个包含模糊查询和基于时间的问题的新数据集，该数据集是基于最新的长形模拟对话数据集的。我们证明了标准的 RAG 方法在处理这些问题时效果不佳。然后，我们开发了一种新的检索模型，结合了链式搜索方法、标准向量数据库检索和提示方法以消除查询的歧义，并证明了这种方法在解决这些任务上显著改善了现有方法的效果。我们相信，这个新数据集和更先进的 RAG 代理可以成为有效的记忆增强对话代理的关键基准和垫脚石，可用于各种人工智能应用。
May, 2024
通过将外部知识库融入到 Retrieval-Augmented Generation (RAG) 中，提出了一种名为 Dynamic-Relevant Retrieval-Augmented Generation （DR-RAG）的两阶段检索框架，用于改善文档检索的召回率和答案的准确性，同时保持高效性，通过对检索到的文档的贡献进行分类确定相对相关的文档，实验证明 DR-RAG 能显著提高答案的准确性，并在 QA 系统方面取得新的进展。
Jun, 2024
检索增强生成 (RAG) 通过提供相关的上下文文本，可以约束生成模型的输出，并减轻产生虚假信息的可能性。我们提出了一个双层 RAG 框架用于查询焦点答案生成，并在社交媒体论坛中对此框架的概念验证进行评估，重点是从新兴的与药物相关信息中生成查询焦点摘要。评估结果表明，在资源受限的环境中，双层框架能够帮助研究人员从用户那里获取几乎实时的数据。
May, 2024
通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响，本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征，发现包括不相关的文档能出乎意料地提高准确性超过 30％。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。
Jan, 2024
检视检索增强生成 (RAG) 方法，揭示语言模型倾向于仅依赖上下文信息来回答问题，而较少使用参数化记忆，通过因果中介分析和注意力机制等方法来证明该机械行为。
Jun, 2024
通过引入细粒度检索扩充和自我验证等方法，我们在对话型问答系统中提出了一种具有检索增强生成能力的方法，通过协同工作的对话型问题精炼器、细粒度检索器和基于自我验证的回答生成器，实现了问题理解和相关信息获取，实验证明了我们方法在现有基准算法上的巨大优势，同时我们还发布了一个包含重组问题、关键词提取、检索段落及其有用性的中文对话型问答数据集，以促进对 RAG 增强的对话型问答的进一步研究。
Mar, 2024
为了解决用户在发出宽泛、开放式的查询时得到丰富的、多方面的回复的问题，我们提出了一种新颖的检索增强生成框架 ——RichRAG。该框架包括一个子方面探索器，用于识别问题中的潜在子方面；一个多方面检索器，用于构建与这些子方面相关的多样化外部文档的候选池；以及一个生成型列表排序器，它是为最终生成器提供前 k 个最有价值的文档的关键模块。经过实验证明，我们的框架能够有效、高效地为用户提供全面且满意的回复。
Jun, 2024
我们介绍了一种将 RAG 与知识图谱相结合的新型客户服务问答方法，通过保留内部问题结构和问题间关系，从历史问题中构建知识图谱用于检索，提高检索精度和解答质量。该方法在实证评估中显示，相对于基准模型，该方法在 MRR 上提升了 77.6%，在 BLEU 上提升了 0.32。我们的方法在 LinkedIn 的客户服务团队中使用了近六个月，并将平均每个问题的解决时间减少了 28.6%。
Apr, 2024
检索增强生成（RAG）通过为文档问答等任务提供额外的上下文大大提升了语言模型（LMs）的能力。在研究框架 RAGGED 下，我们研究了代表性的文档问答任务，观察了两种经典的稀疏和密集检索器以及四种在编码器 - 解码器和仅解码器架构中表现优异的 LMs。研究结果显示，不同的模型适用于不同的 RAG 配置，而编码器 - 解码器模型在使用更多文档时呈现出单调改进，而仅解码器模型只能有效使用小于 5 个文档，尽管其上下文窗口通常更长。此外，RAGGED 还揭示了 LMs 的上下文利用习惯，其中编码器 - 解码器模型更依赖上下文，并且对于检索质量更为敏感，而仅解码器模型则更倾向于依赖训练中记忆的知识。
Mar, 2024