Jun, 2024

在游戏开发中利用大型语言模型进行高效的故障分析

PDF
TL;DR这篇论文提出了一种利用大型语言模型（LLMs）自动识别导致测试失败的代码更改的新方法，并通过定量和定性评估验证了该方法的有效性。通过 EA 开发者报告的问题进行的数据集评估结果显示，我们的方法在准确率上达到了 71％。此外，通过用户研究对我们的模型进行了评估，结果显示在开发者的视角下使用该工具可以显著减少问题调查所需的时间，最高可达 60％。
bugsautomated testscode changeslarge language modelsuser study
发现论文，激发创造
  • 利用大型语言模型进行软件漏洞检测：综合基准研究

    通过使用大型语言模型（LLMs）来辅助发现源代码中的漏洞，相比传统的静态分析工具，我们发现 LLMs 能够找出更多问题，提高漏洞检测的回溯率和 F1 分数，从而使得代码更加安全。

    May, 2024

  • 大型语言模型是相当不错的零样本视频游戏缺陷检测器

    本研究探讨了利用大型语言模型的零样本能力来进行视频游戏中漏洞检测的可能性，并将漏洞检测问题表述为问答任务。我们介绍了 GameBugDescriptions 基准数据集，展示了六个模型在该数据集上的表现。结果表明，使用适当的提示技术，我们可以在某些游戏中实现高达 78.94％的准确度，为视频游戏漏洞检测提供了积极的前景。

    Oct, 2022

  • 面向无需测试的故障定位的大型语言模型

    采用大型语言模型进行故障定位，通过微调小批量双向适配器层，无需测试覆盖信息定位出有问题的代码行，追踪性能与语言模型的规模相关。

    Oct, 2023

  • DeepCode AI Fix: 用大型语言模型修复安全漏洞

    使用大型语言模型的程序修复任务中，通过降低训练数据量、使用代码剪裁技术及构建全面的代码修复数据集，我们的系统能够在更少的案例中准确匹配人工修复，并显著提升可用模型的性能。

    Feb, 2024

  • 基于 LLM 的文本游戏自动错误检测

    通过基于大型语言模型的方法，我们提出了一种自动识别互动游戏中逻辑和设计缺陷的系统化方法，该方法应用于文本游戏 DejaBoom! 上能够高效地识别大型语言模型驱动的互动游戏中的缺陷，并填补了自动检测逻辑和设计缺陷的空白。

    Jun, 2024

  • 利用大型语言模型增强编程错误信息

    使用大型语言模型增强编程错误消息，以提供错误说明和修复建议，从而生成比原始编程错误消息更易于理解和可操作的编程错误消息。

    Oct, 2022

  • 使用大型语言模型分析软件供应链安全故障的实证研究

    在这项研究中，我们评估了大型语言模型（LLMs）分析历史软件供应链违规行为的能力。我们使用 LLMs 复制了 Cloud Native Computing Foundation (CNCF) 成员对 69 个软件供应链安全违规行为的手动分析，并根据四个维度开发了 LLMs 的提示：侵害类型、意图、性质和影响。我们报告了当源文章足够详细以便在手动分析员中形成共识时，LLMs 能够有效地描述软件供应链违规行为，但不能取代人工分析员。未来的工作可以提高 LLMs 在这个背景下的性能，并研究更广泛的文章和违规行为。

    Aug, 2023

  • 软件渗透测试中使用大型语言模型的初步研究

    利用大型语言模型（LLM）构建用于软件渗透测试的人工智能代理，通过反复使用和提示工程来提高模型性能。

    Jan, 2024

  • 利用大型语言模型增强自动化代码漏洞修复

    研究致力于自动修复代码漏洞的复杂挑战，引入了一种新的代码修改表示格式，使用了先进的大型语言模型（如 Code Llama 和 Mistral）。这些模型在 C 代码漏洞数据集上进行了微调，显着提高了自动代码修复技术的准确性和适应性。研究还对当前的评估指标（如完美预测）进行了关键评估，并强调了在真实场景中反映自动修复模型真正能力的局限性。研究强调了在代码修复任务中提高 LLMs 效果的数据集完整性和训练样本缺失测试数据集的重要性。此工作对数字安全的贡献不仅体现在提高代码安全方面的潜力上，而且推动了这些关键领域的进一步探索与研究。

    Jan, 2024

  • 利用线性逻辑方法进行软件漏洞和功能评估

    通过研究使用大型语言模型（LLMs）在代码审查中的作用，其中包括检测安全漏洞和验证软件功能的有效性，本文发现大型专有模型在这些任务上的性能显著优于小型开源模型，并证明了 LLMs 能够生成与真实漏洞相关的详细描述。

    Mar, 2024