May, 2024

CodeGRAG: 提取合成句法图以增强检索的跨语言代码生成

PDF
TL;DR通过使用 Syntax Graph Retrieval Augmented Code Generation (CodeGRAG) 模型，可以提高大型语言模型在单轮代码生成任务中的性能，填补编程语言和自然语言之间的差距，并使用外部结构化知识作为不同编程语言之间的桥梁，从而显著提高语言模型的代码生成能力。
发现论文，激发创造
  • 基于检索增强生成的大型语言模型的因果图发现

    使用大语言模型从科学文献中提取关联关系，构建高质量的因果图。

    Feb, 2024

  • CodeRAG-Bench：检索能增强代码生成吗？

    研究发现传统的语言模型在生成代码方面有一定困难，通过提供外部上下文信息如库文档可以改善代码生成效果。通过系统性的大规模分析，发现在何种场景下使用检索增强生成模型能够对代码生成产生帮助，并且存在改进的空间。通过创建了一个综合评估基准，CodeRAG-Bench，涵盖了基本编程、开放域和代码库级别的代码生成任务，实现从五个来源中检索上下文，结果显示在不同设置中通过检索高质量上下文能够提升最终代码生成效果，同时也揭示了当前检索器在词汇重叠有限的情况下仍然难以获取有用的上下文，并且生成器在上下文长度有限或者无法整合额外上下文的能力上存在不足。希望 CodeRAG-Bench 能够成为有效的测试平台，促进进一步开发针对代码导向的检索增强生成方法。

    Jun, 2024

  • CodeKGC: 基于代码的生成式知识图谱构建模型

    通过代码语言模型生成三元组以构建语义结构明确的知识图谱，并使用增强理由生成法提高知识提取能力，实验结果表明该方法在基准数据集上取得优异表现。

    Apr, 2023

  • 重写代码：大型语言模型增强代码搜索的简单方法

    通过对代码搜索中的样例代码进行生成和重写，我们提出了一种简单而有效的方法来解决代码风格偏差的问题，并引入了用于量化代码风格相似性的度量指标 Code Style Similarity。实验证明，这种方法在不同的搜索场景中显著提高了检索准确性。

    Jan, 2024

  • 基于混合图神经网络的检索辅助代码摘要生成

    本研究提出了使用检索增强机制和动态图神经网络结构来生成源代码摘要的方法，并在大规模的开源项目数据集上进行了实验，在 ROUGE-L，BLEU-4 和 METEOR 等方面取得了最先进的结果。

    Jun, 2020

  • DSL 代码生成的对比研究：精细调整与优化检索增强

    使用大型语言模型进行自然语言到代码生成的优化检索增强生成模型（RAG）方法，与 fine-tuned 模型相比，能够在语法和编译率等方面取得相似的性能，在 API 名称和参数键方面略有差异并优势新颖的 API。

    Jul, 2024

  • 通过将抽象语法树建模为图来完成代码补全

    本文提出一种名为 CCAG 的新的代码完成方法，它将部分 AST 的平坦序列建模为 AST 图，使用 AST 图注意力块捕捉表示学习中的不同依赖关系，并通过多任务学习优化代码完成的子任务，无需调整任务权重即可自动实现任务平衡，实验结果表明 CCAG 比现有方法具有更优越的性能，能够提供智能代码完成。

    Mar, 2021

  • StackRAG Agent：利用检索辅助生成器改进开发者答案

    StackRAG 是一种基于 LLMs 的检索增强多智能体生成工具，通过聚合来自 Stack Overflow 的知识，提高了生成答案的可靠性。初步评估表明生成的答案是正确、准确、有关和有用的。

    Jun, 2024

  • 基于生成模型的查询扩展技术在代码检索中的应用

    本文提出了一个以生成扩展查询为基础的框架，利用强大的代码生成模型来提高代码检索任务。该方法优化了嵌入到潜空间的文档 - 代码对，利用生成的代码片段将文档查询扩展与目标代码片段匹配。该方法在 CodeSearchNet 数据集上实验，并取得了迄今为止最好的性能结果。

    Dec, 2022

  • 通过自学使大型语言模型能够建立知识检索索引器

    该研究提出了一种名为 PG-RAG 的预检索框架，使用大量阅读材料和结构化的语境记录来构建伪图数据库，该框架在单文档和多文档的问题回答任务中表现出明显的改进，具有高性能的检索和生成能力。

    May, 2024