InterCode：标准化和基准测试带有执行反馈的交互式编码

Jun, 2023

InterCode：标准化和基准测试带有执行反馈的交互式编码

InterCode: Standardizing and Benchmarking Interactive Coding with Execution Feedback

John Yang, Akshara Prabhakar, Karthik Narasimhan, Shunyu Yao

TL;DR本研究提出 InterCode 框架，作为交互式编码的标准强化学习（RL）环境，并使用 Bash 和 SQL 作为行动空间，以前沿的 LLMs 和其它编码策略作为实证对象，以展示其优越性和可持续性，同时证明其作为推进代码理解和生成能力的有挑战性的基准测试。

Abstract

Humans write code in a fundamentally interactive manner and rely on constant execution feedback to correct errors, resolve ambiguities, and decompose tasks. While llms have recently exhibited promising coding capabilities, current coding benchmarks mostly consider a static instruction-

interactive coding reinforcement learning llms bash sql

发现论文，激发创造

可执行代码操作引发更好的 LLM 智能体

使用可执行的 Python 代码将大型语言模型 (LLM) 代理的动作统一到一个行动空间 (CodeAct) 中，并通过多轮交互来执行代码动作、动态修订先前的动作或生成新的动作。实验结果显示，CodeAct 相较于广泛使用的其他方法在性能上表现更好，并通过构建与用户协作的开源 LLM 代理 (CodeActAgent) 展示了其在任务导向模型中的潜力。

Feb, 2024

IRCoder: 中间表示使语言模型具有鲁棒性的多语言代码生成器

通过利用编译器中间表示来改进代码语言模型的多语言能力，并促进跨语言转换，该研究探讨了在代码语言模型中利用编译器中间表示的可行性和优势，构建了一个并行数据集 SLTrans，并通过对不同规模的代码语言模型进行连续因果语言建模训练，从而在各种代码生成任务和度量标准中实现了显著和一致的提升。

Mar, 2024

InfiCoder-Eval：对代码大型语言模型的问题回答能力进行系统评估

利用 InfiCoder-Eval 这个大规模的自由形式问答（QA）基准测试，我们系统评估了超过 80 种代码 LLMs，并取得了一系列富有洞察力的发现，同时展示了进一步改进代码 LLMs 的可能方向。

Mar, 2024

StepCoder: 基于编译器反馈的强化学习提升代码生成

使用大型语言模型（LLMs）进行代码生成的研究，引入了一个新的强化学习框架 StepCoder，通过将代码生成任务拆分为完成代码片段的课程，以及屏蔽未执行代码段进行模型优化，成功解决了复杂人类需求下 RL 探索和模型优化的挑战，并通过构建 APPs + 数据集进行了实验验证。

Feb, 2024

UniCoder: 通过通用编码扩展代码大规模语言模型

通过引入中间表示形式 UniCode，用大型语言模型 UniCoder 生成编码，显著提高了生成代码的质量并超越了以往的提示方法。

Jun, 2024

SemCoder：使用全面语义训练代码语言模型

该论文提出了一种新的策略，通过连接静态代码文本和动态执行状态，训练具有全面语义的 Code LLMs，从而填补 Code LLMs 在诸如调试和程序修复等复杂任务中对深层语义的依赖的差距。该方法通过收集 PyX，一个具有可执行样本、功能描述和执行跟踪的干净代码语料库，训练 Code LLMs 使用自然语言编写代码、表示和推理执行行为，从而开发出了仅有 67 亿参数的 SemCoder，该模型在代码生成和执行推理任务上与 GPT-3.5-turbo 表现相当。

Jun, 2024

CodeRL: 通过预训练模型和深度强化学习掌握代码生成

CodeRL 使用预训练的语言模型和深度强化学习框架解决了程序合成中标准的有监督微调的一些局限，同时在 APPs 和 MBPP 基准测试中创造了新的 SOTA 结果。

Jul, 2022

CoRE: 使用 LLM 作为自然语言编程、伪代码编程和 AI 代理的流程编程的解释器

开发了一种使用大语言模型 (LLM) 作为解释器来解释和执行自然语言指令的 Code Representation and Execution (CoRE) 系统，统一了自然语言编程、伪代码编程和流程编程。

May, 2024

低代码 LLM: 基于 LLMs 的可视化编程

本文介绍了一种新的人 - LLM 交互框架：Low-code LLM，它包括六种类型的简单低代码视觉编程交互，通过图形用户界面的视觉交互，用户可以在不编写琐碎的提示的情况下将其想法纳入工作流程，并且具有可控的生成结果、用户友好的人 - LLM 交互和广泛应用场景等三个优点，适用于复杂任务的结构化规划和执行。

Apr, 2023

MapCoder: 多智能体编码生成竞争问题求解

使用多智能体提示的新方法进行代码生成任务，利用四个特定设计的语言模型代理模拟人类开发者在程序综合的全部周期中观察到的阶段，展示出优秀的代码生成能力并取得新的最先进结果。

May, 2024