我们提出了一种评估 Large Language Models（LLMs）代码理解性能的新方法，通过引入代码变异来检测 LLMs 对代码和自然语言描述之间微妙差异的能力，并在各种代码变异和编程语言上对两个常见的 LLMs 进行了案例研究，发现它们在代码理解性能上存在显著的差异。

Jan, 2024

本研究首次探讨大型语言模型（LLMs）在故障模式分类（FMC）中的有效性，并通过使用限制代码表的方式详细介绍了促使 LLM 预测给定观察结果的故障模式的方法。我们展示了在注释数据上进行微调的 GPT-3.5 模型（F1=0.80）在性能上明显优于在相同注释数据集上训练的当前可用文本分类模型（F1=0.60）。该微调模型也优于开箱即用的 GPT-3.5 模型（F1=0.46）。这项研究强调了使用 LLMs 进行特定领域任务时的高质量微调数据集的必要性。

Sep, 2023

深度神经网络的错误定位工具 deepmufl 在广泛的 DNN 模型中具有较好的有效性，并且可以在一半的错误定位时间内定位到高达 53/109 的错误位置，相比于静态和动态 DNN 错误定位系统具有更优的性能。

Sep, 2023

采用大型语言模型进行故障定位，通过微调小批量双向适配器层，无需测试覆盖信息定位出有问题的代码行，追踪性能与语言模型的规模相关。

Oct, 2023

大型语言模型在漏洞检测方面的推理能力较差，常出现错误定位漏洞代码和错误识别漏洞类型的情况。

Mar, 2024

本文提出了一种基于贝叶斯代理模型的机器文本检测方法，能够有效提高查询效率，并在低查询预算下实现更好的性能，相比于 DetectGPT，查询次数减少了最多 2 倍，AUROC 提高了 3.7%。

May, 2023

从不确定性的角度进行的风险评估研究表明不确定性估计方法可用于揭示大型语言模型的预测风险，并可能发现由该模型生成的有错误的程序。

Jul, 2023

使用大型语言模型的程序修复任务中，通过降低训练数据量、使用代码剪裁技术及构建全面的代码修复数据集，我们的系统能够在更少的案例中准确匹配人工修复，并显著提升可用模型的性能。

Feb, 2024

在高风险应用中使用大型语言模型（LLMs）时，我们需要知道何时可以信赖它们的预测。本研究首先论证了仅仅使用提示是不足以实现良好校准的，然后展示了在一个小数据集上进行精调以创建具有良好概括性和小计算开销的不确定性估计的方法。我们还研究了可靠的 LLM 不确定性估计的机制，并通过用户研究展示了不确定性估计如何影响人与 AI 的协作环境中的人类使用 LLMs。

Jun, 2024

通过使用大型语言模型（LLMs）来辅助发现源代码中的漏洞，相比传统的静态分析工具，我们发现 LLMs 能够找出更多问题，提高漏洞检测的回溯率和 F1 分数，从而使得代码更加安全。

May, 2024