Sep, 2024

通过多计划探索和反馈驱动的细化实现的对偶编程框架用于代码生成

HTML
PDF
TL;DR本研究针对大型语言模型在复杂编程问题上的解决能力不足的问题，提出了PairCoder框架，该框架借鉴了对偶编程的实践，引入两个协作的LLM代理：Navigator和Driver。实验结果表明，PairCoder在各种代码生成基准测试中相比直接提示LLMs，有着12.00%-162.43%的显著准确性提升，展示了其潜在的影响力。
发现论文，激发创造
  • 自我编辑：面向代码生成的故障感知代码编辑器

    利用执行结果修正生成的代码，我们提出了一种基于人类编程阶段的生成和编辑方法来提高大型语言模型（LLM）在竞争性编程任务方面的代码质量，对使用不同参数大小的9种常见代码生成LLM在两个竞争性编程数据集上进行了广泛评估，相比于直接从LLMs生成的代码，我们的方法在APP-dev上的pass@1平均值提高了89％，在APPS-test上提高了31％，在HumanEval上提高了48％，比其他后处理方法表现更优。

    May, 2023

  • 大型语言模型中编程思维的激活：面向代码生成

    本文提出了一种名为TiP的方法，该方法将代码生成分解为两个步骤，逐步引导大型语言模型（LLMs）在编程逻辑中分析和实现要求，并在三个公共基准测试中进行了广泛的实验，结果表明TiP在多个指标上优于现有的基线(ChatGPT)，且对于不同的LLMs具有有效性。

    May, 2023

  • CodeScope: 一个基于执行的多语言多任务多维度基准评估工具，用于评估LLMs在代码理解和生成方面的能力

    评估大型语言模型在编码任务上的能力的多维度、多语言、多任务评估基准CodeScope的引入和分析

    Nov, 2023

  • StepCoder: 基于编译器反馈的强化学习提升代码生成

    使用大型语言模型（LLMs）进行代码生成的研究，引入了一个新的强化学习框架StepCoder，通过将代码生成任务拆分为完成代码片段的课程，以及屏蔽未执行代码段进行模型优化，成功解决了复杂人类需求下RL探索和模型优化的挑战，并通过构建APPs+数据集进行了实验验证。

    Feb, 2024

  • 草图然后生成：通过以语言为导向的代码草图，提供增量用户反馈和引导LLM代码生成

    使用语言导向的代码草稿提供即时且逐步的反馈，从而提高人工与大型语言模型之间的交互效果。该方法通过利用提示中固有的语言结构和经典的自然语言处理技术，将提示转化为代码草稿，并作为中间占位符，预览预期的代码结构，引导大型语言模型生成期望的代码。

    May, 2024

  • MapCoder: 多智能体编码生成竞争问题求解

    使用多智能体提示的新方法进行代码生成任务，利用四个特定设计的语言模型代理模拟人类开发者在程序综合的全部周期中观察到的阶段，展示出优秀的代码生成能力并取得新的最先进结果。

    May, 2024

  • 分治与共识的结合：释放代码生成中函数的威力

    使用FunCoder框架，结合分而治之的策略和函数的共识，递归拆分子函数并将其组合，以应对复杂的需求，并通过功能共识在正确性评估方面具有优势。

    May, 2024

  • 关于代码生成的大型语言模型调查

    基于大规模语言模型的代码生成领域的综述，介绍了对LLMs在代码生成领域的最新进展、数据处理、性能评估、实际应用，对学术与实践之间的差距进行了分析，提出了关键挑战和机遇，并提供了一个资源网站以记录和传播该领域的最新进展。

    Jun, 2024

  • 基于多LLM的代理调试器：精炼与生成指导

    本研究解决了大型语言模型（LLMs）在复杂代码生成任务中的准确性问题。提出了一种新的LLM代理架构——精炼与生成指导调试（RGD），通过分步骤处理代码生成，提升了LLMs的自主生成与精炼代码的能力。实验结果表明，RGD在代码生成能力上实现了显著提升，为程序开发提供了更有效的自动调试工具。

    Oct, 2024

  • RGD：基于多大语言模型的代理调试器通过改进和生成指导

    本研究解决了大型语言模型（LLMs）在复杂代码生成任务中的准确性问题，提出了一种名为RGD的多LLM代理调试框架。该框架通过分解代码生成任务，结合自我反思和反馈进行迭代代码改进，实验结果显示在多个数据集上均显著提升了代码生成性能，展示了其在增强LLMs自主生成和改进代码能力方面的潜力。

    Oct, 2024