Jun, 2024

NLPerturbator：研究代码 LLMs 对自然语言变化的稳健性

PDF
TL;DR本文研究了大型语言模型在现实场景中自然语言描述的变化对于代码生成的影响，并提出了一个自动化框架 NLPerturbator 来对不同类别的描述进行扰动，发现扰动后的描述可以显著降低代码生成的性能。研究强调了提高大型语言模型对于现实场景中描述变化的鲁棒性的重要性，以及构建描述时的细致性。
large language modelscode generationnatural language descriptionrobustnessprompt variations
发现论文，激发创造
  • 大型语言模型代码生成的鲁棒性和可靠性研究

    最近，大型语言模型 (LLMs) 在理解自然语言和生成编程代码方面表现出了非凡的能力。然而，对于 LLMs 生成的代码的可靠性和鲁棒性的研究尚未得到深入的探讨。这项研究提出了一个包括 1208 个编程问题的数据集 RobustAPI，用于评估 LLMs 生成的代码的可靠性和鲁棒性，并发现甚至对于 GPT-4 而言，62% 的生成代码存在 API 误用，这可能导致意想不到的后果。

    Aug, 2023

  • 测试在不同级别的提示特异性下进行的代码生成的 LLMs

    评估了各种 LLM 在生成 Python 代码方面的性能，揭示了创建准确的 Python 函数的理想提示策略。

    Nov, 2023

  • 噪声示例提高大型语言模型的鲁棒性：无领域行为分析

    通过域不可知的扰动，我们引入了一种系统的方法来测试大型语言模型在多跳推理任务中的鲁棒性，发现模型对于某些扰动（如用同义词替换单词）更为敏感，并且我们证明增加提示中扰动示例的比例可以提高少样本提示方法的鲁棒性。

    Nov, 2023

  • RoCoIns：通过代码风格指导提升大型语言模型的鲁棒性

    通过将代码风格的指示替代自然语言指示，本文提供了更精确的指示，并增强了大语言模型的鲁棒性。同时，通过使用干净和对抗样本来构建上下文演示，我们进一步提高了大语言模型的鲁棒性。实验结果表明，我们的方法在八个鲁棒性数据集上持续优于自然语言指令的大语言模型。

    Feb, 2024

  • 关于代码生成的大型语言模型调查

    基于大规模语言模型的代码生成领域的综述，介绍了对 LLMs 在代码生成领域的最新进展、数据处理、性能评估、实际应用，对学术与实践之间的差距进行了分析，提出了关键挑战和机遇，并提供了一个资源网站以记录和传播该领域的最新进展。

    Jun, 2024

  • DeceptPrompt: 利用对抗性自然语言指令挖掘 LLM 驱动的代码生成

    通过引入 DeceptPrompt 算法，该论文针对大型语言模型在代码生成任务中的致命弱点进行了广泛实验和分析，证实了其在诱导模型生成易受攻击代码方面的有效性，攻击成功率相比无前缀 / 后缀应用平均提高了 50%。

    Dec, 2023

  • 大型语言模型在漏洞检测方面的能力综合研究

    大型语言模型在漏洞检测方面的推理能力较差，常出现错误定位漏洞代码和错误识别漏洞类型的情况。

    Mar, 2024

  • 对话模型的节约提示

    研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

    May, 2023

  • LLM 的输入扰动问题重新审视：噪声槽填充任务的统一鲁棒性评估框架

    使用大型语言模型来评估对话理解能力，在输入扰动场景下提高扰动稳健性表现。

    Oct, 2023

  • 提升代码大型语言模型的自然语言能力

    提出了一个新的框架，通过集成传统自然语言处理工具，从自然语言需求文本中提取关键词短语，并生成目标代码以解决需求，从而有效提高代码大型语言模型的性能。通过创建一个新的多自然语言代码生成基准测试集，实验证明了该框架的有效性。

    Jan, 2024