Oct, 2023

软件元数据的生成型人工智能：FIRE 2023 软件工程信息检索赛道综述

PDF
TL;DR在软件工程中的信息检索（IRSE）领域，通过基于人类和大型语言模型生成的标签的机器学习框架，开发代码注释自动评估的解决方案。通过对开源 Github 上的 C 语言项目提取的 9048 个代码注释和周围代码片段对进行二分类任务，将注释分类为有用和无用。来自各大学和软件公司的 17 支队伍总共提交了 56 个实验。通过 F1 - 得分定量评估实验结果，并根据开发的特征类型、使用的监督学习模型及其对应的超参数进行定性评估。大型语言模型生成的标签增加了预测模型的偏差，但能得到更少过拟合的结果。
发现论文，激发创造
  • 一种用于改进代码注释分类的 ML-LLM 配对

    信息检索在软件工程（IRSE）中的研究旨在进行代码注释分类，通过比较经典机器学习系统的性能和使用大型语言模型生成的额外数据来评估性能增加，最佳模型在提供的种子数据上获得了 88.401% 的宏 F1 分数，并在 LLM 生成的数据上总体性能增加了 1.5%。

    Oct, 2023

  • 基于生成型人工智能数据增强的软件元数据分类的影响研究

    该研究论文提出了一种系统，用于自动预测代码 - 注释对的有用性，并研究了大型语言模型生成的数据对原始基础数据以及相应源代码的影响。通过使用评论和相应代码的神经上下文表示来训练基于机器学习的模型，我们开发了一个框架来预测代码 - 注释对的有用性，并分析了与基础数据使用 LLM 生成数据的性能。在官方评估中，我们的系统相对于基准线提高了 4% 的 F1 得分，并提高了生成数据的质量。

    Oct, 2023

  • 基于生成人工智能的软件元数据分类

    通过应用生成式人工智能（AI）提升二进制代码注释质量分类模型性能，使用 OpenAI API 生成了包含 1239 个新生成的代码 - 注释对的数据集，该数据集从各种 GitHub 代码库和开源项目中提取，并为其标记为 “有用” 或 “无用”，并与现有的 9048 个 C 编程语言对称整合。当将生成的数据集集成到支持向量机（SVM）模型中时，精确度提高了 6％，从 0.79 提高到 0.85。此外，人工神经网络（ANN）模型的召回率增加了 1.5％，从 0.731 提高到 0.746。研究结果表明，生成式 AI 在增强代码注释质量分类模型中的潜力，验证了该方法的有效性，并显示出其在软件开发和质量保证领域中的更广泛应用性。研究结果强调了整合生成技术以提高机器学习模型在实际软件工程场景中的准确性和效果的重要性。

    Oct, 2023

  • 利用生成式人工智能：通过生成的代码 - 注释对提高软件元数据分类能力

    通过使用上下文化嵌入（尤其是 BERT）自动化对代码评论进行分类的方法，以及应用不同的机器学习算法来区分有用和无用的代码评论，本研究展示了生成型人工智能在提高二元代码评论质量分类模型方面的潜力，并为软件开发人员和自然语言处理及软件工程研究人员提供了有价值的见解。

    Oct, 2023

  • 提升二进制代码注释质量分类：集成生成人工智能以提高准确性

    通过整合生成的代码和注释对，提高二进制代码注释质量分类模型的准确性， 使用包含 9048 对用 C 语言编写的代码和注释的数据集，每个都标注为 “有用” 或 “无用”。除此之外，还使用大型语言模型架构生成代码和注释对，并标记以指示其效用。这一努力的成果包括两个分类模型：一个利用原始数据集，另一个整合了新生成的代码注释对和标签的增强数据集。

    Oct, 2023

  • 第一届生成式信息检索研讨会 @SIGIR 2023

    本文研究生成信息检索是否只是另一种趋势或者像有些人声称的那样，是检索的范式变革，需要新的度量标准，理论基础，评估方法，任务定义，模型，用户界面等来探讨。

    Jun, 2023

  • 从匹配到生成：生成式信息检索综述

    信息检索系统 (IR) 是用户访问信息的关键工具，也是搜索引擎、问答系统和推荐系统等场景中被广泛应用的工具。本文综述了生成式信息检索 (GenIR) 的最新研究进展，涉及到生成式文档检索 (GR)、可靠响应生成以及 GenIR 系统的评估、挑战和未来前景。

    Apr, 2024

  • 利用词袋和基于 Transformer 的模型识别代码中的评论相关性

    该论文介绍了针对不同代码段的评论进行分类的任务，使用了不同的特征工程方案和文本分类技术，探索了经典的词袋模型和基于变形金刚的模型的性能，并提到了模型的局限性和改进空间。

    Aug, 2023

  • 检索和优化：基于示例的神经评论生成

    本文提出了一种基于 IR 技术和模板的 API 注释生成方法。该方法将机器翻译模型迁移到注释生成任务中并且通过引入仅对模板执行的代码生成步骤，使模型更加准确。在 Java 程序员中取得了 state-of-the-art 的回归结果。

    Oct, 2020

  • 搜索仍然重要：在生成式人工智能时代的信息检索

    利用生成型人工智能和大型语言模型探索信息检索中的动机、考虑因素和结果，主要关注学术界对这些系统的使用，尤其关注作者权威性、及时性和搜索结果的文脉化；虽然大型语言模型可以提供有助于信息检索的功能，但对搜索系统及其改进的持续需求仍然是必要的。

    Nov, 2023