Feb, 2024

ARKS：知识汤中的主动检索用于代码生成

PDF
TL;DR在本文中，我们介绍了 Active Retrieval in Knowledge Soup（ARKS），这是一种用于代码生成的高级策略，通过积极的检索策略和知识汇集构建，实现了大型语言模型的泛化，对一般化 RACG（retrieval-augmented code generation）流程的构建提供了有益的见解。
retrieval-augmented generationragcode generationactive retrievalknowledge soup
发现论文，激发创造
  • ActiveRAG: 透过主动学习揭示知识的宝藏

    ActiveRAG 是一种创新的 RAG 框架，它通过使用知识构建机制和认知纽带机制将被动知识获取转变为主动学习机制，从而提高了大型语言模型的内在认知，并在问答数据集上取得了 5% 的改进。

    Feb, 2024

  • CodeRAG-Bench：检索能增强代码生成吗？

    研究发现传统的语言模型在生成代码方面有一定困难，通过提供外部上下文信息如库文档可以改善代码生成效果。通过系统性的大规模分析，发现在何种场景下使用检索增强生成模型能够对代码生成产生帮助，并且存在改进的空间。通过创建了一个综合评估基准，CodeRAG-Bench，涵盖了基本编程、开放域和代码库级别的代码生成任务，实现从五个来源中检索上下文，结果显示在不同设置中通过检索高质量上下文能够提升最终代码生成效果，同时也揭示了当前检索器在词汇重叠有限的情况下仍然难以获取有用的上下文，并且生成器在上下文长度有限或者无法整合额外上下文的能力上存在不足。希望 CodeRAG-Bench 能够成为有效的测试平台，促进进一步开发针对代码导向的检索增强生成方法。

    Jun, 2024

  • 自感知的知识检索：用于自适应检索强化生成的方法

    介绍了一种自我感知知识检索模型（SeaKR），该模型从大规模语言模型（LLMs）的内部状态中提取自我感知的不确定性，通过检测 LLMs 生成时的高度不确定性来激活检索。为了有效地整合已检索的知识片段，SeaKR 根据 LLMs 的自我感知不确定性对其进行重新排序，以保留最大程度地减少不确定性的片段。为了解决需要多次检索的复杂任务，SeaKR 利用自我感知不确定性来选择不同的推理策略。在复杂和简单问答数据集上的实验证明，SeaKR 优于现有的自适应 RAG 方法。我们将代码发布在此 https URL。

    Jun, 2024

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • 利用知识图谱的检索增强生成模型用于客户服务问答

    我们介绍了一种将 RAG 与知识图谱相结合的新型客户服务问答方法，通过保留内部问题结构和问题间关系，从历史问题中构建知识图谱用于检索，提高检索精度和解答质量。该方法在实证评估中显示，相对于基准模型，该方法在 MRR 上提升了 77.6%，在 BLEU 上提升了 0.32。我们的方法在 LinkedIn 的客户服务团队中使用了近六个月，并将平均每个问题的解决时间减少了 28.6%。

    Apr, 2024

  • ArK：具备知识交互新兴能力的增强现实

    研究了一种基于知识记忆的增强现实与知识推理交互机制（ArK），利用通用的基础模型将知识记忆从一个领域转移到另一个领域，使得机器学习 agent 在未知情况下可以生成高质量 2D/3D 场景，证明了增强现实技术在深度学习中的潜力。

    May, 2023

  • Repoformer: 代码补全的存储库级选择性检索

    通过选择性检索和自我评估，本文提出了一种选择性检索和生成框架，以在大型代码库级别的代码自动补全中提高生成模型的准确性和效率。

    Mar, 2024

  • KG-RAG: 知识与创造之间的桥梁

    该论文介绍了一种名为 KG-RAG（知识图谱 - 检索增强生成）的框架，通过将结构化的知识图谱与 LLMs 的功能集成，显著减少对 LLMs 潜在知识的依赖，从而提高 LLM 的知识能力。通过使用一种名为 CoE（Chain of Explorations）的算法，利用 LLMs 的推理能力在知识图谱中顺序地探索节点和关系，该方法较之前取得了显著减少虚构内容的结果，为发展处理知识密集型任务的智能系统提供了有希望的路径。

    May, 2024

  • 通过自学使大型语言模型能够建立知识检索索引器

    该研究提出了一种名为 PG-RAG 的预检索框架，使用大量阅读材料和结构化的语境记录来构建伪图数据库，该框架在单文档和多文档的问题回答任务中表现出明显的改进，具有高性能的检索和生成能力。

    May, 2024

  • 基于 RAG 的多源检索问答框架

    基于 GPT-3.5 的多源检索框架（MSRAG）实现了检索增强生成技术（RAG）的改进，提高了问答系统的效率和准确性。

    May, 2024