Aug, 2023

利用词袋和基于 Transformer 的模型识别代码中的评论相关性

PDF
TL;DR该论文介绍了针对不同代码段的评论进行分类的任务，使用了不同的特征工程方案和文本分类技术，探索了经典的词袋模型和基于变形金刚的模型的性能，并提到了模型的局限性和改进空间。
classificationcommentscode segmentsbag of words modeltransformer-based models
发现论文，激发创造
  • 利用生成式人工智能：通过生成的代码 - 注释对提高软件元数据分类能力

    通过使用上下文化嵌入（尤其是 BERT）自动化对代码评论进行分类的方法，以及应用不同的机器学习算法来区分有用和无用的代码评论，本研究展示了生成型人工智能在提高二元代码评论质量分类模型方面的潜力，并为软件开发人员和自然语言处理及软件工程研究人员提供了有价值的见解。

    Oct, 2023

  • 一种用于改进代码注释分类的 ML-LLM 配对

    信息检索在软件工程（IRSE）中的研究旨在进行代码注释分类，通过比较经典机器学习系统的性能和使用大型语言模型生成的额外数据来评估性能增加，最佳模型在提供的种子数据上获得了 88.401% 的宏 F1 分数，并在 LLM 生成的数据上总体性能增加了 1.5%。

    Oct, 2023

  • 利用基于 Transformer 的集成学习来分类科学论文

    本文介绍了一个系统，它包括四个独立子系统，能够将科学文献的摘要分类到给定的七个类别中，通过对这四个子系统的集成，可以得到一个在测试和验证集上 F1 分数为 0.93 的最终系统，优于现有的最先进模型 SciBERT 的 F1 分数。

    Feb, 2021

  • 使用未标记数据对基于 Transformer 的模型进行领域自适应，用于德语客户反馈的相关性和极性分类

    利用不同基于 Transformer 的模型探索分析德语顾客反馈数据集的效率，进一步分析预训练模型是否使用无标签数据适应特定领域会比现成模型获得更好的结果，实验结果表明，这些预训练模型取得了显著改进，超过了已发表的成绩和以前的模型。

    Dec, 2022

  • 使用机器学习和自然语言处理方法进行情感分析中 Reddit 评论的性能评估

    使用 GoEmotions 数据集评估情感分析模型的效能并扩展研究范围，发现 RoBERTa 模型在细粒度情感分类任务上表现出色，推动了情感分析能力的发展。

    May, 2024

  • Civil Comments 数据集上有害评论分类的基准

    比较多个模型在高度倾斜的多标签仇恨言论数据集上进行毒性评论检测，结果表明 BERT、RNN 和 XLNet 对关联身份的偏见较不敏感，RoBERTa 的 Focal Loss 表现最佳，而 DistilBERT 则结合了良好的 AUROC 和低推理时间。

    Jan, 2023

  • 使用 BERT 和 Longformer 检测代码注释不一致性

    利用 BERT 和 Longformer 模型检测自然语言告知语境下源代码评论中的不一致性，经过实验验证成功超越多种基线算法并获得与排除语言和词汇特征的最新模型相当的效果，同时探讨使用预训练语言模型检测不一致性和自动更新评论的未来研究方向。

    Jul, 2022

  • 双向 Transformer vs. word2vec：发现提升编译代码中的漏洞

    利用自然语言处理（NLP）中的 word2vec、BERT 和 RoBERTa 等嵌入技术，通过学习中间表示（LLVM）代码的语义，利用长短期记忆（LSTM）神经网络对 Juliet 数据集中近 118k 个 LLVM 函数的嵌入进行训练，进而检测编译二进制文件中的漏洞。研究结果显示，与复杂的上下文 NLP 嵌入相比，word2vec 连续词袋（CBOW）模型在检测漏洞方面取得了 92.3% 的验证准确率，表明当用来训练双向变压器模型的数据样本数量有限（例如 118K）时，简单的 word2vec 模型在这个任务中可能更有优势。这些比较结果为选择用于学习编译器独立语义代码表示的最佳嵌入提供了新的见解，推动了编译二进制文件中漏洞的机器学习检测的发展。

    May, 2024

  • BERT 面向长文档的案例研究：自动化 ICD 编码

    本研究证明了一种简单可扩展的方法，使用已有的 Transformer 模型（如 BERT）处理长文本在 ICD 编码上的表现明显优于以往，比 CNN-based 模型更为出色。

    Nov, 2022

  • 基于生成型人工智能数据增强的软件元数据分类的影响研究

    该研究论文提出了一种系统，用于自动预测代码 - 注释对的有用性，并研究了大型语言模型生成的数据对原始基础数据以及相应源代码的影响。通过使用评论和相应代码的神经上下文表示来训练基于机器学习的模型，我们开发了一个框架来预测代码 - 注释对的有用性，并分析了与基础数据使用 LLM 生成数据的性能。在官方评估中，我们的系统相对于基准线提高了 4% 的 F1 得分，并提高了生成数据的质量。

    Oct, 2023