May, 2023

使用生成的 Oracle 验证器合成算法程序

PDF
TL;DR提出了一种名为 ALGO 的框架，该框架使用 LLM 生成的神谕来引导算法程序的创建和验证。实验表明，与 Codex 和 CodeT 等现有领先模型相比，在处理未知问题时，使用 ALGO 可获得 8x 和 2.6x 的更好的一次提交通过率。
large language modelsalgoalgorithmic programsllm-generated oraclescode generation model
发现论文，激发创造
  • 利用大型语言模型引导枚举式程序合成

    本文评估了预训练大型语言模型在解决正式综合基准测试中的能力，并提出了一种将语言模型与枚举综合算法相结合的新颖算法，结果显示该方法在性能上明显优于独立使用语言模型或枚举综合器，以及在 SyGuS 竞赛中取胜的工具。

    Mar, 2024

  • 评估生成式大型语言模型的 Oracle-Checker 方案

    本文提出了一种名为 “Oracle-Checker 方案” 的新方法，用于评估生成式大型语言模型（LLM）给出的答案。介绍了两种类型的检查器，一种是基于属性测试思想，另一种是基于程序检查思想。分别展示了它们在实体抽取和近义词判断两个不同背景下的应用。

    May, 2024

  • 基于大语言模型的全自动编程

    本文探讨了使用 Large Language Models 进行程序合成时，实现 Synthesize，Execute，Debug 方法的方法，包括替换或修复故障程序，以及不同基于模板和基于模型的提示生成技术，取得了比传统方法更好的表现。

    Apr, 2023

  • LEVER: 学习使用执行验证从语言生成代码

    本研究提出了一种基于语言到代码生成的方法，利用预先训练好的代码语言模型的采样程序生成，再利用后验验证器对生成的程序进行验证，对程序进行重新排序，从而提高最终程序的正确性，实验结果表明该方法在多个领域取得了最优的生成效果。

    Feb, 2023

  • LLM4VV: 为编译器验证开发基于 LLM 的测试套件

    探索最新的大型语言模型在代码生成方面的能力，调查提示和微调方法，并分析大型语言模型生成测试的结果。

    Oct, 2023

  • LLM4PLC：工控系统中基于大型语言模型的可验证 PLC 编程

    提出 LLM4PLC 的用户引导迭代流程，通过用户反馈和外部验证工具来改善大型语言模型（LLM）生成的代码的可验证性，提高成功生成的比例并提高代码质量。

    Jan, 2024

  • 利用 LLMs 解析竞技编程解决方案

    本文提出自然语言解释和代码生成的联合任务用于解决竞技编程问题。通过实验结果表明，尽管在解决竞技级别编程问题方面表现不佳，但当前最先进的 LLMs 在描述和解释解决方案方面表现出强大的能力，进而提出解释生成方法学生成包含描述和分析的结构化解决方案说明。

    Jul, 2023

  • Lemur: 集成大型语言模型的自动程序验证

    通过结合 LLMs 的代码理解能力和自动推理程序，我们提出了一种通用方法论来进行自动程序验证，通过一组导出规则进行形式化描述并证明其合理性，从而实现了在一系列合成和竞争基准测试中的实际改进。

    Oct, 2023

  • 用于代码的大型语言模型的程序测试能力

    利用对最近的大型语言模型进行了代码测试的详尽分析，本研究展示了这些模型的一系列有趣性质，并展示了如何改进大型语言模型的程序测试能力，通过利用生成的测试用例来提高合成程序的质量，相较于 GPT-3.5-turbo 和最新的最先进技术，我们的方法在 HumanEval + 上的代码通过率分别提高了 11.77% 和 4.22%。

    Oct, 2023

  • 自然语言规格说明到数学程序的综合

    研究评估了使用数据增强、后处理和代码生成模型 CodeT5 合成数学程序的效果，通过应用线性规划规则来评分和纠正光束，该方法基于自然语言规范实现自动化建模。实验结果表明，在使用这些增强方法后，CodeT5 基础版本的执行准确率为 0.73，明显优于 ChatGPT 的零 - shot 执行准确率 0.41 和 Codex 的 0.36。

    Mar, 2023