code generation | BriefGPT - AI 论文速递

关键词code generation

搜索结果 - 205

针对 NL2Bash 的执行评估挑战
最近大规模语言模型的进展引发了自然语言提示到不同编程语言的转换任务（代码生成），该任务引起了广泛关注，并广泛应用于不同领域。本文针对 Bash 的代码生成以及相应的代码验证方法进行了研究，提出了针对 NL2Bash 的基于执行的评估机制，并
PDF7 days ago
花岗岩代码模型：一系列针对代码智能的开放基础模型
为了发挥代码 LLMs 的全部潜力，我们引入了一系列解码器专用的 Granite 代码模型，用于代码生成任务，该模型在多项任务中表现出了最新的性能，为企业软件开发工作流程进行优化。
PDF10 days ago
草图然后生成：通过以语言为导向的代码草图，提供增量用户反馈和引导 LLM 代码生成
使用语言导向的代码草稿提供即时且逐步的反馈，从而提高人工与大型语言模型之间的交互效果。该方法通过利用提示中固有的语言结构和经典的自然语言处理技术，将提示转化为代码草稿，并作为中间占位符，预览预期的代码结构，引导大型语言模型生成期望的代码。
PDF10 days ago
大型语言模型与自动化机器学习的协同效应
使用大型语言模型 (LLMs) 驱动的代码生成在最近变得越来越流行。然而，自动生成机器学习 (ML) 任务的代码仍然面临着重大挑战。本文通过结合 LLMs 和自动化机器学习 (autoML) 来探索 ML 程序合成的极限，旨在完全自动化从数
PDF11 days ago
CodeGRAG: 提取合成句法图以增强检索的跨语言代码生成
通过使用 Syntax Graph Retrieval Augmented Code Generation (CodeGRAG) 模型，可以提高大型语言模型在单轮代码生成任务中的性能，填补编程语言和自然语言之间的差距，并使用外部结构化知识作
PDF14 days ago
CodeHalu: 基于执行验证的 LLMs 驱动的代码幻觉
大型语言模型在代码生成领域取得了显著的进展，为自动化编程和开发人员提供了前所未有的支持。然而，大型语言模型有时生成的代码虽然看似合理，但无法满足预期要求或执行不正确。本研究提出了基于执行验证的代码幻觉定义方法，并首次引入了代码幻觉的概念，将
PDF17 days ago
COLINGPECC：问题提取与编码挑战
通过 PECC 我们引入了一个新的基准，从 Advent of Code (AoC) 和 Project Euler 派生，旨在评估大型语言模型对嵌入式问题的理解和生成可执行代码的能力，进而成为通用问题解决器。
PDF18 days ago
中性提示是否会产生不安全的代码？FormAI-v2 数据集：标记大型语言模型生成的代码中的漏洞
本研究比较分析了最先进的大型语言模型（LLMs），研究了它们使用中性的零 - shot 提示来编写简单 C 程序时生成漏洞的可能性。通过引入 FormAI-v2 数据集，该研究扩展了之前的工作，并包含了使用各种 LLMs 生成的 265,0
PDF18 days ago
关于基于嵌入的方法在代码生成中测量功能正确性的局限性
使用嵌入式度量指标如 CodeBERTScore 来测量功能正确性和编辑工作量的能力分析。
PDF21 days ago
CodeIP: 大规模代码语言模型的语法引导多位数水印
CodeIP 是一种基于大型语言模型的代码生成的新型水印技术，通过训练类型预测器来提高生成代码的语法和语义正确性，实现多位信息的插入，从而提高水印的可靠性和多样性。实验结果表明 CodeIP 在五种编程语言的真实数据集上表现出良好效果，可用
PDF23 days ago
使用迭代、工具增强的知识库推理实现的自然语言到类级代码生成
LLMs 在代码生成任务中展示了显著的潜力，在各种基准测试中在函数或语句级别取得了有希望的结果。然而，在创建类等代码构件方面的复杂性，特别是在实际软件库的背景下，尚未得到充分探索。现有的研究通常将类级生成视为一项孤立的任务，忽视了表征实际软
PDF25 days ago
大型语言模型作为测试用例生成器：性能评估与增强
使用大型语言模型（LLMs）生成高质量的测试用例是一个重要问题，目前的研究主要集中在改进代码生成过程中通过 LLMs 生成辅助测试用例的性能，而 LLMs 在仅生成测试用例方面的性能尚未全面研究。为了填补这一空白，本文通过大量实验研究了 L
PDFa month ago
使用丰富视觉编程问题评估多模态编程大型语言模型
在代码编写过程中，开发人员通常利用视觉辅助工具更有效地传达概念。然而，最近在大型多模态模型方面的发展表明在视觉推理和数学任务方面取得了显著能力，但在研究这些模型是否能够有效地解释用于代码生成的视觉元素方面几乎没有相关工作。为此，我们提出了
PDFa month ago
CreativEval: 评估基于 LLM 的硬件代码生成的创造力
利用 CreativeEval 框架评估大型语言模型在生成硬件设计方面的创造力，结果表明 GPT-3.5 是生成硬件设计中最具创造力的模型。
PDFa month ago
自然逻辑枢轴的评论：通过评论角度改进代码生成
借助注释作为代码 LLMs 生成能力的增强策略，MANGO 显著提高了代码通过率，并且逻辑注释解码策略的鲁棒性明显高于思路链引导。
PDFa month ago
BISCUIT: 在计算笔记本中使用临时 UI 支撑 LLM 生成的代码
通过在计算笔记本中引入一种新的工作流程，将基于大型语言模型的代码生成与额外的临时 UI 步骤相结合，我们提供了一种新方法来帮助初学者理解和使用由大型语言模型生成的代码，并为用户提供基于用户交互的 UI 来辅助理解、指导和探索由大型语言模型生
PDFa month ago
大型语言模型与模型驱动工程在集中式车辆系统自动化开发中的协同效应
我们提供了一个原型工具，利用模型驱动工程（MDE）和大型语言模型（LLM）的协同作用，以实现汽车行业软件开发过程的自动化。在这种方法中，用户提供的输入是自由形式的文本需求，首先使用 LLM 将其转换为 Ecore 模型实例表示，然后使用对象
PDFa month ago
大型语言模型中 Java 安全 API 的滥用调查
在这篇论文中，我们系统评估了 ChatGPT 在 Java 的安全 API 使用情景中，生成代码的可信性。我们编制了 48 个编程任务的广泛集合，包含 5 个广泛使用的安全 API。通过自动和手动方法检测 ChatGPT 生成的代码中的安全
PDFa month ago
ACL测试代码文档对大型语言模型代码理解的影响
通过对代码和文档的底层特性进行实证分析，我们发现错误的文档会大大阻碍大型语言模型对代码的理解能力，而不完整或缺失的文档似乎并不显著影响大型语言模型对代码的理解能力。
PDFa month ago
LLM 动力编码生成中的幻觉探索与评估
通过主题分析，我们对生成的代码进行了总结和分类，建立了包括五个主要类别的幻觉的综合分类法。基于结果，我们提出了一个评估代码 LLM 性能的基准，名为 HalluCode，并通过 HalluCode 和 HumanEval 进行了幻觉识别和减
PDF2 months ago