Jul, 2024

DSL 代码生成的对比研究：精细调整与优化检索增强

PDF
TL;DR使用大型语言模型进行自然语言到代码生成的优化检索增强生成模型（RAG）方法，与 fine-tuned 模型相比，能够在语法和编译率等方面取得相似的性能，在 API 名称和参数键方面略有差异并优势新颖的 API。
natural language to code generationlarge language modelsdomain specific languagesretrieval augmented generationdsl generation
发现论文，激发创造
  • 研究信息检索增强生成和微调技术在基于人工智能驱动的知识系统开发中的性能

    基于 ROUGE、BLEU、METEOR 分数和余弦相似度的衡量标准，我们对 GPT-J-6B、OPT-6.7B、LlaMA、LlaMA-2 这几种语言模型的 RAG 和 FN 技术的性能进行了比较和分析，结果表明 RAG 基于构造的模型较 FN 更有效。我们进一步指出 RAG 和 FN 的连接并不简单，因为将 FN 模型与 RAG 相连会导致性能下降。此外，我们提出了一种简单的基于 RAG 的架构，平均而言在 ROGUE 评分上比 FN 模型高出 16%，在 BLEU 评分上高出 15%，在余弦相似度上高出 53%。这显示了 RAG 相比 FN 在幻觉方面的显著优势，而 FN 模型的平均 8% 更好的 METEOR 分数则表明其与 RAG 相比具有更高的创造力。

    Mar, 2024

  • RAG 与 Fine-tuning：管道、权衡及农业案例研究

    在本文中，我们提出了一种用于 fine-tuning 和 RAG 的流程，并介绍了它们在多种流行的 LLMs 中的权衡。我们对农业数据集进行了深入研究，结果显示我们的数据集生成流程在捕捉特定地理知识方面的有效性以及 RAG 和 fine-tuning 的定量和定性优势。整体而言，结果表明通过使用 LLMs 构建的系统可以适应和整合特定行业关键维度上的知识，为其他工业领域进一步应用 LLMs 铺平了道路。

    Jan, 2024

  • 微调与检索增强生成：面向不那么流行的知识

    通过检索增强生成（RAG）和精调（FT）方法来定制大型语言模型（LLM），以应对低频实体的问答任务，结果表明，FT 显著提升性能，尤其在最受欢迎和最不受欢迎的实体组中，而 RAG 优于其他方法。

    Mar, 2024

  • 大型语言模型中的检索增强生成的开发与测试 -- 一份案例研究报告

    大型语言模型（LLMs）在医疗应用中具有重要潜力，而检索增强生成（RAG）被认为是一种有前景的方法来定制 LLMs 中的领域知识。该研究通过开发和评估一个专门针对医疗保健领域、特别关注术前医学的 LLM-RAG 流程，验证了其可行性。

    Jan, 2024

  • 检索增强生成系统：自动数据集创建、评估和布尔代理设置

    检索增强生成（RAG）系统在通过领域特定和时间敏感数据增强大型语言模型（LLM）输出方面非常受欢迎。本文提出了一种严格的数据集创建和评估工作流程，从而定量比较了不同的 RAG 策略，用于布尔代理 RAG 设置的开发和评估。我们在线发布了我们的代码和生成的数据集。

    Feb, 2024

  • CodeRAG-Bench：检索能增强代码生成吗？

    研究发现传统的语言模型在生成代码方面有一定困难，通过提供外部上下文信息如库文档可以改善代码生成效果。通过系统性的大规模分析，发现在何种场景下使用检索增强生成模型能够对代码生成产生帮助，并且存在改进的空间。通过创建了一个综合评估基准，CodeRAG-Bench，涵盖了基本编程、开放域和代码库级别的代码生成任务，实现从五个来源中检索上下文，结果显示在不同设置中通过检索高质量上下文能够提升最终代码生成效果，同时也揭示了当前检索器在词汇重叠有限的情况下仍然难以获取有用的上下文，并且生成器在上下文长度有限或者无法整合额外上下文的能力上存在不足。希望 CodeRAG-Bench 能够成为有效的测试平台，促进进一步开发针对代码导向的检索增强生成方法。

    Jun, 2024

  • RQ-RAG: 学习改进用于检索增强生成的查询

    学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

    Mar, 2024

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • 基于检索增强生成的大型语言模型的基准测试

    通过对 Retrieval-Augmented Generation 对大型语言模型的影响进行系统调查和评估，本文发现大型语言模型在噪音鲁棒性、负面拒绝、信息整合和对抗性鲁棒性方面存在挑战，表明在将 RAG 有效应用于大型语言模型方面仍有很长的路要走。

    Sep, 2023

  • 大型语言模型的检索增强文本生成综述

    Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

    Apr, 2024