Jul, 2023

源代码语言模型共享与能源利用的探索文献研究

PDF
TL;DR本研究旨在调查与分析语言模型设计用于软件工程任务的研究是否共享代码及模型，以及针对模型训练所用的能源的透明度，从可持续的角度收集有用的信息。我们发现，当前研究中存在信息和工件共享的不足，约 40％的调查论文没有共享代码或训练过的工件，我们建议共享源代码和训练过的工件，以实现可持续的可重复性，同时还应该共享有关训练所需时间和硬件配置的全面信息，以确保模型的碳足迹透明度。
language modelssoftware engineeringsource codetraining timeenergy consumption
发现论文，激发创造
  • 使用开源代码训练大型语言模型的（滥）用

    本研究探讨使用未经授权的代码构建 LLMs 所带来的安全、隐私和版权问题，并提出了四条可行的建议。

    Feb, 2023

  • 大型语言模型训练数据集中的代码许可侵权初探

    大语言模型的训练是否会侵犯代码许可证？是否有可以安全使用来训练这些模型的可用数据集而不违反这些许可证呢？通过 53 个训练于文件级代码的大语言模型的研究，我们发现每个数据集都存在许可证一致性问题。因此，我们建议研究人员和社区都应优先发展和采用最佳实践来创建和管理数据集。

    Mar, 2024

  • 开放源码的基于人工智能的软件工程工具：协作学习的机遇与挑战

    利用联邦学习技术，我们提出一个治理框架以促进开源人工智能模型的共同开发和维护，确保数据隐私和安全，解决开源人工智能软件工程工具在获取组织资源时面临的障碍。我们还提供开发者的指南，包括数据需求、模型架构、更新策略和版本控制，以促进基于人工智能的软件工程工具的合作。此外，我们的研究还探讨了代码数据异质性对联邦学习性能的影响。

    Apr, 2024

  • 探索输出格式对代码翻译的大型语言模型评估的影响

    代码翻译的大语言模型综合评估以及通过策略组合和正则表达式提取源代码的研究结果揭示了代码翻译的实际性能和未来研究方向。

    Mar, 2024

  • 评估语言模型代码生成能力时的污染量量化

    该研究综合研究了大型语言模型在代码生成任务中的数据污染问题，分析了常见代码生成基准测试与预训练语料之间的重叠程度，并揭示了类似训练解决方案出现时模型性能显著提高的现象，同时分析了模型大小、问题难度和问题长度等因素对模型记忆和泛化的影响。

    Mar, 2024

  • 可持续学习编程：基于 LLM 的绿色代码生成的实证研究

    信息技术的增长导致数据中心耗能和碳排放占比的显著增加。为了应对软件开发的环境影响，绿色编码和使用人工智能模型可提高能源效率已成为研究的热点。本研究以可持续性指标为基础，对自动生成代码的可持续性意识进行了评估，并比较了人工生成代码与三种人工智能语言模型生成代码在易难问题陈述下的性能和可持续性能力。结果揭示了当前人工智能模型在可持续软件开发方面的贡献能力。

    Mar, 2024

  • 代码注释翻译：模型效果与误差比较研究

    比较三种源代码摘要生成模型的定量和定性评估，揭示了基于度量的性能与模型预测错误之间关系的新洞见，并提供了摇号学习实验中可以用来推动未来研究工作的经验性错误分类学。

    Jun, 2021

  • Big Code != Big Vocabulary: 开放词汇模型用于源代码

    本文研究了大规模源代码资料库上各种建模选择如何影响产生的词汇表并呈现出一个开放式词汇表源代码 NLM，可以扩展到比之前的工作大 100 倍的这样一个资料库，并表明这样的模型在三个不同的代码资料库（Java，C，Python）上优于现有技术。

    Mar, 2020

  • 基于 Transformer 的语言模型用于软件漏洞检测

    本研究探讨了如何利用基于 transformer 的语言模型来检测软件漏洞，研究了在处理具有多个漏洞的 C/C++ 源代码时，这些模型的性能如何，并发现与当时的双向 LSTM 和双向 GRU 等其他模型相比，这些语言模型在漏洞检测方面具有更好的性能指标。此外，该论文还分析了流行的平台来有效地进行微调，并在选择平台时提供了建议。

    Apr, 2022

  • 大型代码机器学习的词汇建模

    本研究探讨了对源代码词汇进行建模时需要做出的关键决策，研究了这些决策对 14,436 个项目的大规模语料库所产生的词汇的影响，并表明其中的一些决策具有决定性特征，允许在大规模的 10,106 个项目的语料库上快速训练准确的神经语言模型。

    Apr, 2019