本文表明大型语言模型在代码生成任务中表现出色，但在变量重命名等语言语义方面不及人类程序员，且存在反比例缩放现象。作者发现，尽管这些模型具有惊人的典型案例表现，它们仍然缺乏对所操作内容的深刻抽象理解，从而不适用于与其训练数据有明显偏差的任务，仅靠扩大规模是不够的。

May, 2023

本文介绍了WizardCoder，它利用Evol-Instruct方法将复杂的指令微调应用于代码领域，通过对四个主要的代码生成基准进行全面实验，揭示了该模型的出色能力，并超越了所有其他开源Code LLMs，甚至在HumanEval和HumanEval +上表现出秀。

Jun, 2023

本研究使用大型语言模型（LLMs）和InstructCoder数据集，探索用户指令下的代码编辑，涵盖评论插入、代码优化和代码重构等多个隐含任务。实验证明，在InstructCoder数据集上对开源LLMs进行精细调整，能够大多数情况下正确地编辑代码，展现了前所未有的代码编辑性能水平。

Oct, 2023

将新代码插入当前生成的代码中，并通过辅助的填充模型和生成模型评分判断填充位置的有效性，以提升代码生成模型的性能。

Jan, 2024

指令调优在大规模代码语言模型（Code LLMs）中对程序合成任务至关重要。本文提出一种名为Semi-Instruct的方法，通过将自然指令中不规范代码转化为正确的指令-代码对，并设计了一种新颖的测试用例构建方法来验证生成代码的正确性。实验结果显示，Semi-Instruct方法在数据规模增加时性能稳定提高。

Mar, 2024

通过使用编码-解码原理，我们引入了CodecLM，这是一个用于自适应生成与不同后续指令分布和大语言模型对齐的高质量合成数据的通用框架。在编码过程中，我们将种子指令转化为元数据，然后通过解码来创建定制的指令。我们还引入自我评分和对比过滤来定制数据样本，经过在四个开放领域指令遵循基准测试上的大量实验证明，CodecLM相对于当前技术水平具有显著的效果。

Apr, 2024

LLMs和基于学习的转译器在自动代码转换任务中取得了显著的性能提升，但当前仍存在一些准确性问题和资源限制。本研究发现，大部分失败源于对源程序的理解不足、在转换中缺少清晰的I/O类型指令以及源程序与目标程序之间的差异被忽略。鉴于以上研究结果，我们提出了UniTrans，一个适用于多种LLMs的统一代码转换框架，通过生成测试用例、自动增强转换并验证正确性的执行过程，进一步修复转换错误。在Python、Java和C++之间的六个转换数据集上进行了大量实验，三个最近的LLMs通过UniTrans实现了大幅度的改进。

Apr, 2024

AlchemistCoder是一系列基于多源数据的Code LLMs，采用AlchemistPrompts进行数据集和指令响应对的协调，同时将数据构建过程纳入fine-tuning数据，通过提升代码生成和泛化能力，显著超越其他同规模或更大规模模型，进一步推动代码智能的发展。

May, 2024

通过新的基准测试DevEval，我们评估了8种流行的大型语言模型在真实代码库中的编码能力，并发现这些模型的编码能力在真实世界的代码库中存在缺陷。

May, 2024

本研究解决了代码语言模型（Code-LLMs）在理解代码语义方面的不足，提出SeqCoBench基准来系统评估其对代码功能等价性的捕捉能力。通过对多种代码转换的评测，结果显示，尽管Code-LLMs在语法结构方面表现良好，但其对代码语义的理解仍显不足，且与传统匹配检索方法的表现差异微小。

Aug, 2024