当今大型语言模型 (LLMs) 具备高度的代码生成和理解能力，特别是在解释用户指导任务时，它们对于解释陌生库中的代码模块显得尤为有希望。最近的研究表明，大型专有 LLMs 可以通过演示学习上下文中的新型库使用。这些结果引发了几个问题，即演示是否需要、是否较小的（更加开放的）模型也具备这种能力等等。本研究以更广泛的方法系统评估不同类型的 LLMs，在三个反映不同领域专业化程度的场景中，了解它们在基于上下文定义的库生成代码时的能力和限制。我们的研究结果表明，即使是开源的较小型 LLMs，如 Llama-2 和 StarCoder，也展现出了对新型代码库的熟练理解能力。我们的发现进一步揭示，LLMs 在学习新的库模块时表现出惊人的高度熟练度，即使只提供自然语言描述或函数的原始代码实现，这比演示要便宜得多。总体而言，我们的研究结果为在更具适应性和动态性的编码环境中利用 LLMs 铺平了道路。

Nov, 2023

IDECoder 利用 IDE 提供的跨文件信息，改进了 Large Language Models 在大型软件项目的仓库级别代码补全任务中的性能。

Feb, 2024

我们研究了大型语言模型在非生成性任务中的应用，以代码克隆检测为例，通过使用基于提示的模式，ChatGPT 在跨语言代码克隆检测中表现出色，并且在单语言代码克隆检测方面与完全微调的模型的性能相当，同时，提示和问题的难度水平对 ChatGPT 的性能有影响。

Jan, 2024

CatCoder 是一种新颖的代码生成框架，扩展了库级代码生成的能力，通过整合相关代码和类型上下文，利用静态分析器提取类型依赖并将其与检索到的代码合并，创建综合提示；实验证明 CatCoder 在各种 LLMs 中表现良好，提供了一致的性能改进。

Jun, 2024

大型语言模型能够通过代码生成和理解任务进行细粒度调整，而上下文学习技术在缺陷检测和修补中表现出色。本论文提出了代码对分类任务，其中模型接收有缺陷和无缺陷版本的代码对，从中识别出有缺陷的版本。实验证明，与判断代码片段中是否存在缺陷及其位置相比，大型语言模型更容易识别出有缺陷的代码对。

Nov, 2023

该论文提出了一种新的策略，通过连接静态代码文本和动态执行状态，训练具有全面语义的 Code LLMs，从而填补 Code LLMs 在诸如调试和程序修复等复杂任务中对深层语义的依赖的差距。该方法通过收集 PyX，一个具有可执行样本、功能描述和执行跟踪的干净代码语料库，训练 Code LLMs 使用自然语言编写代码、表示和推理执行行为，从而开发出了仅有 67 亿参数的 SemCoder，该模型在代码生成和执行推理任务上与 GPT-3.5-turbo 表现相当。

Jun, 2024

研究表明，使用语言模型（LMs）可以处理人类编码的文本，通过与人类编码员的比较，我们发现 GPT-3 可以达到与人类编码员相当的表现水平，这为在很多领域中应用语言模型来处理文本提供了证据。

Jun, 2023

我们探讨了在初级编程课程中应用大型语言模型（LLM）生成代码追踪问题的方法，通过设计指导 GPT4 生成基于代码片段和描述的代码追踪问题的有针对性提示，并建立了一套人工评价指标，用于评估模型生成的问题与人工专家创建的问题的质量。我们的分析揭示了 LLMs 在生成多样化代码追踪问题方面的能力和潜力，并提供了一个独特的人工和 LLM 生成的追踪问题数据集，为教育和自然语言处理研究社区提供了宝贵资源。这项工作为关于 LLMs 在教育环境中潜在用途的持续对话做出了贡献。

Oct, 2023

本文展示了通过将结构化常识推推理任务框架化为代码生成任务，使用代码生成语言模型（CODEX）可以在自然语言任务上优于 T5 和 GPT-3 等先进语言模型，即使任务并不涉及源代码。

Oct, 2022

本文研究了是否通过显式添加语义信息来改善大型语言模型在代码汇总任务中的性能，发现通过添加语义信息可以显著提高模型性能，特别是在 PHP 语言的 CodeSearchNet 数据集上。

Apr, 2023