本文旨在提出一种名为AceCoder的新型代码生成方法，应用于六种已预先训练的语言模型，并在三个公共基准测试中进行了评估，结果显示AceCoder可以显著提高PTLM在代码生成方面的性能。

Mar, 2023

本文主要介绍了大型语言模型的fine-tuning方法——parameter-efficient fine-tuning（PEFT），并通过对FLAN-T5模型的综合测试和分析，提出了选择fine-tuning技术的最佳方法，重点考虑任务类型和数据可用性，同时指出了PEFT方法在数据过少的情况下的收敛速度慢的问题，提出了更好的model optimization方法。

Apr, 2023

在这项研究中，我们评估了10个开源指导式LLMs在四个代表性的代码理解和生成任务上的表现，并得出了以下主要发现：首先，在零样本设置下，指导式LLMs在代码理解和生成任务上非常有竞争力，有时甚至比特定于每个下游任务进行微调的小型SOTA模型表现更好。我们还发现，对于与代码相关的任务，并非总是越大的指导式LLMs表现更好。其次，在少样本设置下，我们发现添加演示示例可以大大帮助指导式LLMs在大多数代码理解和生成任务中表现得更好；然而，这些例子有时会导致不稳定甚至更差的表现。此外，我们发现广泛使用的基于BM25的选样策略在生成问题上明显优于基本随机选样或固定选样。第三，在微调设置下，我们发现与零样本/一样本的表现相比，微调可以进一步提高模型在下游代码理解和生成任务中的性能。此外，在在相同下游任务数据集上进行微调后，指导式LLMs的性能优于小型SOTA模型和未进行指导微调的相似规模LLMs。根据我们的发现，我们进一步提出了有关模型和使用建议、性能和成本的权衡以及未来方向的实用影响。

Aug, 2023

LLaMA-Reviewer是一个创新框架，利用了LLaMA（一种流行的大型语言模型）在代码审查领域的能力。通过使用参数高效的微调方法，即使使用了6.7B参数的最小LLaMA基础模型和有限的微调时期，LLaMA-Reviewer也能达到现有的面向代码审查的模型的性能。

Aug, 2023

基于大型语言模型的代码生成中，我们提出了一种名为LAIL的新型学习选择方法，通过考虑给定需求和示例时生成真实程序的概率来估计候选示例，并通过概率反馈对候选示例进行标记，使用对比学习目标训练一个有效的检索器，从而提高了代码生成的性能。在CodeGen和GPT-3.5方面，LAIL在三个代表性数据集上分别比基准线提高了11.58％、6.89％、5.07％和4.38％、2.85％、2.74％的Pass@1指标。

Oct, 2023

该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新PEFT架构、不同学习设置的PEFT、结合模型压缩技术的PEFT以及多模态LLMs的PEFT探索。通过提出该立场论文，我们旨在激发进一步的研究，并促进围绕LLMs的更高效和可访问的PEFT的讨论。

Nov, 2023

基于预训练模型的参数高效调整方法在软件工程领域的效果与效率的全面评估研究。

Dec, 2023

通过实证研究PEFT方法（LoRA和Compacter）在CodeT5和CodeLlama上的表现，评估它们相较于完全微调模型的性能、是否可用于从自然语言模型到代码的知识转移，以及它们适应学习知识到一种未见语言的能力。我们的研究目标是研究R语言，其具有广泛的社区，而LLMs的适应性和较低的计算成本使其能够在缺乏大量计算资源的情况下使用，此外，研究R语言为使用LLMs于其他语言提供了新机会，我们期望得出PEFT方法在R语言的代码LLMs上的能力以及改进领域。

Mar, 2024

该研究探讨了大型语言模型的细调策略，发现可替代方法在领域外泛化方面与标准方法相媲美，强调了对有效提示的需求，并针对可用资源和任务适应性进行合适的细调方法选择。

May, 2024

基于大规模语言模型的代码生成领域的综述，介绍了对LLMs在代码生成领域的最新进展、数据处理、性能评估、实际应用，对学术与实践之间的差距进行了分析，提出了关键挑战和机遇，并提供了一个资源网站以记录和传播该领域的最新进展。

Jun, 2024