本文探讨了NLP模型在软件工程问题上的应用，指出当前对这些模型的评估缺乏一致性和广泛接受的协议，提出有必要提供一种评估NLP模型的方法论，以实现一致的评估和公平高效的比较。

Mar, 2022

本研究提出了一个基于基础模型的系统分类法，涉及预训练和微调，基于基础模型的系统的体系结构设计以及负责任的AI-by-design。该分类法为基于基础模型的系统设计提供了具体的指南，并突出了设计决策带来的权衡。

May, 2023

本研究旨在调查与分析语言模型设计用于软件工程任务的研究是否共享代码及模型，以及针对模型训练所用的能源的透明度，从可持续的角度收集有用的信息。我们发现，当前研究中存在信息和工件共享的不足，约40％的调查论文没有共享代码或训练过的工件，我们建议共享源代码和训练过的工件，以实现可持续的可重复性，同时还应该共享有关训练所需时间和硬件配置的全面信息，以确保模型的碳足迹透明度。

Jul, 2023

通过系统文献综述，我们深入研究了大型语言模型（LLMs）与软件工程（SE）的交叉领域，并特别关注LLMs在SE中的应用、影响和潜在局限。通过收集和分析2017年至2023年的229篇研究论文，我们回答了四个关键研究问题（RQs），比较分析了不同用于SE任务的LLMs的特点和用途，并详细描述了在此领域中数据收集、预处理和应用的方法，揭示了稳健、经过良好策划的数据集对于成功实施LLM的关键作用。同时，我们还调查了优化和评估LLMs在SE中性能的策略，以及与提示优化相关的常见技术。通过解决上述研究问题，我们勾勒出当前最先进的研究状况，找出现有研究的不足之处，并标注未来研究的有前景的领域。

Aug, 2023

本研究旨在考察大型语言模型（如GPT-4）在新数据上执行经验软件工程研究的复制能力，发现GPT-4能够提供正确的假设，但难以生成反映软件工程数据的常规知识的假设，同时在生成的代码中存在实现层面错误，显示出对软件工程知识的欠缺。这些发现对于利用LLMs进行软件工程研究以及软件团队中的数据科学家具有重要意义。

Oct, 2023

基于Large Language Models的FMware软件开发引发了一系列软件工程挑战，该研究讨论了这些挑战并提出了创新的解决方案，同时介绍了FMArts长期项目以及其在设计和开发可靠FMware方面的应用和学习经验。

Feb, 2024

利用联邦学习技术，我们提出一个治理框架以促进开源人工智能模型的共同开发和维护，确保数据隐私和安全，解决开源人工智能软件工程工具在获取组织资源时面临的障碍。我们还提供开发者的指南，包括数据需求、模型架构、更新策略和版本控制，以促进基于人工智能的软件工程工具的合作。此外，我们的研究还探讨了代码数据异质性对联邦学习性能的影响。

Apr, 2024

通过对24名职业软件工程师使用ChatGPT一周期间的对话和整体体验进行定性分析，发现他们更多地使用ChatGPT获取解决任务的指导或对抽象主题的学习，并提出了一个理论框架，指导今后关于职业软件工程师使用LLM的学术讨论和设计未来经验性研究。

Apr, 2024

通过对721个基础模型领先指标进行综述研究，识别5种工作流模式和8种领先指标运营中的问题，进而改善现有的领先指标操作实践，提高透明度和合作性，促进基础模型比较和选择的健壮与负责任的生态系统。

Jul, 2024

基于数据和模型作为源代码的观念，Foundation Models (FMs)成为了一种新型软件。为了应对即将到来的FM危机，从软件工程领域引入基础模型工程(FM engineering)的战略性响应。FM engineering旨在通过引入声明式、自动化和统一的编程接口来缓解FM开发和应用中潜在的问题，从而为开发人员提供更结构化和直观的过程，减少与FMs相关的复杂性。通过建立FM engineering框架，我们旨在提供一个强大、自动化、可扩展的解决方案，应对即将面临的挑战，并发掘软件工程领域的新研究机会。

Jul, 2024