使用大型语言模型构建测试用例的案例研究：揭示实践洞见与挑战

Dec, 2023

使用大型语言模型构建测试用例的案例研究：揭示实践洞见与挑战

A Case Study on Test Case Construction with Large Language Models: Unveiling Practical Insights and Challenges

Roberto Francisco de Lima Junior, Luiz Fernando Paes de Barros Presta, Lucca Santos Borborema, Vanderson Nogueira da Silva, Marcio Leal de Melo Dahia...

TL;DR本文通过详细的案例研究，探讨了在软件工程背景下，应用大型语言模型（LLMs）构建测试用例的方法。通过定性和定量分析，评估了 LLMs 对测试用例全面性、准确性和效率的影响，并讨论了模型可解释性、伦理考虑和适应不同软件环境的挑战。本研究的结果为软件测试领域中应用 LLMs 提供了实用性见解，旨在促进对 LLMs 在优化软件开发过程中作用的全面理解。

Abstract

This paper presents a detailed case study examining the application of Large Language Models (LLMs) in the construction of test cases within the context of software engineering. LLMs, characterized by their advanced natural language processing capabilities, are increasingly garnering a

large language models test case construction software engineering software development lifecycle llm integration

发现论文，激发创造

由学徒到研究助理：大型语言模型推动研究

通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管 LLMs 具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于 LLMs 在研究中负责任应用的持续对话。

Apr, 2024

软件工程项目中对 LLMs 的使用和感知的实证研究

论文研究了大型语言模型（LLMs）在学术软件工程项目中的实用性，包括 AI 生成的代码、代码生成的提示以及将代码集成到代码库中的人工干预水平。研究结果表明，LLMs 在软件开发的早期阶段，特别是在生成基础代码结构和语法、错误调试方面，可以发挥重要作用。这些发现为我们提供了一个有效利用 LLMs 提高软件工程学生的生产力的框架，并强调了将教育重点转向为学生成功进行人工智能协作的必要性。

Jan, 2024

面向软件工程的大型语言模型：一项系统性文献综述

通过系统文献综述，我们深入研究了大型语言模型（LLMs）与软件工程（SE）的交叉领域，并特别关注 LLMs 在 SE 中的应用、影响和潜在局限。通过收集和分析 2017 年至 2023 年的 229 篇研究论文，我们回答了四个关键研究问题（RQs），比较分析了不同用于 SE 任务的 LLMs 的特点和用途，并详细描述了在此领域中数据收集、预处理和应用的方法，揭示了稳健、经过良好策划的数据集对于成功实施 LLM 的关键作用。同时，我们还调查了优化和评估 LLMs 在 SE 中性能的策略，以及与提示优化相关的常见技术。通过解决上述研究问题，我们勾勒出当前最先进的研究状况，找出现有研究的不足之处，并标注未来研究的有前景的领域。

Aug, 2023

使用 LLM 自动化 REST API Postman 测试用例

自动化生成测试用例的研究论文，使用大型语言模型来提高测试用例生成的效率和全面性，并利用自动化工具 Postman 进行 API 测试。

Apr, 2024

浅析大型语言模型的法律问题

本文介绍了如何将大型语言模型 LLMS 应用于法律领域，对应用于法律任务的不同方法进行了讨论，并探讨了使用 LLMS 所引发的隐私、偏见等法律问题，提出了数据资源领域学习上下文中的一些潜在方向。希望为当前 LLMS 的法律应用现状提供概述，同时强调其集成的潜在益处和挑战。

Mar, 2023

商业中 LLM 益处的实际检验

大型语言模型（LLMs）在理解和生成任务方面取得了显著的表现，但其在偏见、上下文理解和对提示的敏感性方面存在限制，因此对其在实际应用中的准备性产生了担忧。本文通过对四个可访问的 LLMs 使用真实世界数据进行的实验，深入研究了 LLMs 在业务流程中的实用性和准备性。研究结果对希望利用生成式人工智能的组织具有重大影响，并为未来的研究方向提供了宝贵的见解。据我们所知，这是第一项将 LLMs 应用于核心业务运营和挑战的定量研究。

Jun, 2024

软件渗透测试中使用大型语言模型的初步研究

利用大型语言模型（LLM）构建用于软件渗透测试的人工智能代理，通过反复使用和提示工程来提高模型性能。

Jan, 2024

大型语言模型用于科学研究的跨学科视角

大型语言模型 (LLMs) 能够在不同学科领域发挥作用和限制，加强科学研究，例如通过总结大量出版物加速文献回顾，通过自动语法纠正提升代码开发，和优化科学写作过程。然而，LLMs 面临挑战，如依赖庞大且有时偏颇的数据集，以及出于使用而引发的潜在伦理困境。我们对 LLMs 在不同领域的影响进行重要讨论，从自然科学中帮助模拟复杂生物序列，到社会科学中解析大规模的定性数据。最后，我们提供一种细致的观点，认为 LLMs 既是科学进步的福音，也是其边界。

Nov, 2023

利用大型语言模型进行软件漏洞检测：综合基准研究

通过使用大型语言模型（LLMs）来辅助发现源代码中的漏洞，相比传统的静态分析工具，我们发现 LLMs 能够找出更多问题，提高漏洞检测的回溯率和 F1 分数，从而使得代码更加安全。

May, 2024

用于代码生成和数据分析的科学语言模型

该研究报告关注大型语言模型在科学研究中的应用，调查了使用 LLM 工具的若干实际案例，特别是与软件工程相关的用例，结果显示了大型语言模型工具的潜力和问题。

Nov, 2023