Oct, 2023

基于生成人工智能的软件元数据分类

PDF
TL;DR通过应用生成式人工智能（AI）提升二进制代码注释质量分类模型性能，使用 OpenAI API 生成了包含 1239 个新生成的代码 - 注释对的数据集，该数据集从各种 GitHub 代码库和开源项目中提取，并为其标记为 “有用” 或 “无用”，并与现有的 9048 个 C 编程语言对称整合。当将生成的数据集集成到支持向量机（SVM）模型中时，精确度提高了 6％，从 0.79 提高到 0.85。此外，人工神经网络（ANN）模型的召回率增加了 1.5％，从 0.731 提高到 0.746。研究结果表明，生成式 AI 在增强代码注释质量分类模型中的潜力，验证了该方法的有效性，并显示出其在软件开发和质量保证领域中的更广泛应用性。研究结果强调了整合生成技术以提高机器学习模型在实际软件工程场景中的准确性和效果的重要性。
generative artificial intelligencebinary code comment quality classificationlarge language model architecturesupport vector machineartificial neural network
发现论文，激发创造
  • 利用生成式人工智能：通过生成的代码 - 注释对提高软件元数据分类能力

    通过使用上下文化嵌入（尤其是 BERT）自动化对代码评论进行分类的方法，以及应用不同的机器学习算法来区分有用和无用的代码评论，本研究展示了生成型人工智能在提高二元代码评论质量分类模型方面的潜力，并为软件开发人员和自然语言处理及软件工程研究人员提供了有价值的见解。

    Oct, 2023

  • 提升二进制代码注释质量分类：集成生成人工智能以提高准确性

    通过整合生成的代码和注释对，提高二进制代码注释质量分类模型的准确性， 使用包含 9048 对用 C 语言编写的代码和注释的数据集，每个都标注为 “有用” 或 “无用”。除此之外，还使用大型语言模型架构生成代码和注释对，并标记以指示其效用。这一努力的成果包括两个分类模型：一个利用原始数据集，另一个整合了新生成的代码注释对和标签的增强数据集。

    Oct, 2023

  • 基于生成型人工智能数据增强的软件元数据分类的影响研究

    该研究论文提出了一种系统，用于自动预测代码 - 注释对的有用性，并研究了大型语言模型生成的数据对原始基础数据以及相应源代码的影响。通过使用评论和相应代码的神经上下文表示来训练基于机器学习的模型，我们开发了一个框架来预测代码 - 注释对的有用性，并分析了与基础数据使用 LLM 生成数据的性能。在官方评估中，我们的系统相对于基准线提高了 4% 的 F1 得分，并提高了生成数据的质量。

    Oct, 2023

  • 软件元数据的生成型人工智能：FIRE 2023 软件工程信息检索赛道综述

    在软件工程中的信息检索（IRSE）领域，通过基于人类和大型语言模型生成的标签的机器学习框架，开发代码注释自动评估的解决方案。通过对开源 Github 上的 C 语言项目提取的 9048 个代码注释和周围代码片段对进行二分类任务，将注释分类为有用和无用。来自各大学和软件公司的 17 支队伍总共提交了 56 个实验。通过 F1 - 得分定量评估实验结果，并根据开发的特征类型、使用的监督学习模型及其对应的超参数进行定性评估。大型语言模型生成的标签增加了预测模型的偏差，但能得到更少过拟合的结果。

    Oct, 2023

  • 代码到注释的翻译：数据、度量、基准和评估

    本文在研究代码注释生成中，分析了采用翻译模型的可行性以及 BLEU 得分的校准方法，并提出了基于信息检索方法的合理基准线以及未来研究方向的建议。

    Oct, 2020

  • 谁撰写评论，人类还是人工智能？

    本研究提出了一种方法来准确区分 AI 生成和人工撰写的书评，通过使用迁移学习，该方法能够在不同主题上识别生成的文本，并提高对写作风格和词汇变化的检测能力。实验结果表明，能够检测文本的原始来源，达到了 96.86% 的准确率。为了确保人工生成内容的完整性和真实性，扩大对大型语言模型在文本识别方面的能力和限制的理解对于有效地应用类似的模型以及确保内容的整体和真实性将是有价值的。

    May, 2024

  • 检索和优化：基于示例的神经评论生成

    本文提出了一种基于 IR 技术和模板的 API 注释生成方法。该方法将机器翻译模型迁移到注释生成任务中并且通过引入仅对模板执行的代码生成步骤，使模型更加准确。在 Java 程序员中取得了 state-of-the-art 的回归结果。

    Oct, 2020

  • 利用用户生成数据学习评论生成

    提出了一种结合检索和生成方法的方法，使用关注模块检索有信息量和相关性的用户生成数据评论，然后与文章一起作为输入，使用具有复制机制的序列到序列模型。在大规模评论生成数据集上展示了该模型的稳健性并证明了其在 BLEU-1 得分方面比具有注意力机制的 Seq2Seq 和信息检索模型等强基线模型显着优越约 27 和 30 个 BLEU-1 点。

    Oct, 2018

  • AI 辅助编程的大代码的自然语言生成与理解：综述

    该研究论文综述了自然语言处理技术的利用，重点关注使用大型代码训练的基于 Transformer 的大型语言模型在 AI 辅助编程任务领域中的应用。这些模型在包括代码生成、代码补全、代码翻译、代码概述、缺陷检测和克隆检测等 AI 辅助编程应用中扮演着关键角色，而其中值得注意的例子包括由 OpenAI 的 Codex 和 DeepMind AlphaCode 提供支持的 GitHub Copilot。本文概述了主要的大型语言模型及其在与 AI 辅助编程相关的下游任务中的应用，并探讨了在这些应用中结合 NLP 技术和软件自然性面临的挑战和机遇，同时讨论了将 AI 辅助编程能力拓展到苹果的 Xcode 移动软件开发环境中的问题和机会，以使开发人员能够获得更先进的编码辅助，并使软件开发流程更加高效。

    Jul, 2023

  • 使用大型语言模型自动生成编程练习和代码解释

    本文研究了利用大型语言模型进行自然语言生成的能力，并应用于编程课程中常见的两种学习资源的制作。研究发现，在创建编程练习时，只需要输入关键词，即可显著影响编程概念和上下文主题的内容，同时也证明了大多数自动生成的内容是全新且合理的。这些结果表明，使用大型生成机器学习模型作为教学工具是有重要价值的，但在交付给学生之前需要一些监督来确保生成的内容质量。文章还探讨了 OpenAI Codex 及类似工具对初学者编程教育的影响，并强调了可能改善教学体验的未来研究方向。

    Jun, 2022