MMJun, 2023

评估 OpenAI Codex 在 HPC 并行编程模型内核生成方面的表现

PDF
TL;DR本文通过使用 AI 辅助生成能力和 GitHub Copilot 生成的不同语言（C++，Fortran，Python 和 Julia）的高性能计算的基本数值内核代码，提出了一种衡量模型和编程模型之间关系的 “熟练度度量标准”，研究结果显示 OpenAI Codex 的输出与编程模型的使用和发展成熟度相关。
ai-assisted generative capabilitieshigh-performance computingprogramming modelsproficiency metricgithub copilot
发现论文，激发创造
  • 比较 Llama-2 和 GPT-3 LLMs 用于 HPC 内核生成

    我们评估了开源 Llama-2 模型在不同并行编程模型和语言上生成众所周知的高性能计算内核（例如 AXPY、GEMV、GEMM）的使用情况。我们使用简单的提示通过 GitHub Copilot 基于 OpenAI Codex 生成类似的内核，以比较 Llama-2 和我们原始的 GPT-3 基准的准确性，并报告了基于这些基础的大型语言模型的区别，因为生成式人工智能继续重新定义人机交互。总体而言，Copilot 生成的代码更可靠但不太优化，而 Llama-2 生成的代码在正确时更优化但不太可靠。

    Sep, 2023

  • 使用大型语言模型自动生成编程练习和代码解释

    本文研究了利用大型语言模型进行自然语言生成的能力，并应用于编程课程中常见的两种学习资源的制作。研究发现，在创建编程练习时，只需要输入关键词，即可显著影响编程概念和上下文主题的内容，同时也证明了大多数自动生成的内容是全新且合理的。这些结果表明，使用大型生成机器学习模型作为教学工具是有重要价值的，但在交付给学生之前需要一些监督来确保生成的内容质量。文章还探讨了 OpenAI Codex 及类似工具对初学者编程教育的影响，并强调了可能改善教学体验的未来研究方向。

    Jun, 2022

  • 领域特定代码语言模型：揭示高性能计算代码和任务的潜力

    通过开发针对特定领域的较小语言模型，我们质疑现有的语言模型选择，构建了一个针对高性能计算（HPC）领域的 MonoCoder 模型，它在非 HPC 和 HPC 任务中实现了类似甚至更好的性能，并在高性能和并行代码生成中取得出色结果。

    Dec, 2023

  • 使用大型语言模型进行硬件加速的代码检测

    使用大型语言模型进行代码检测的首次分析表明，常规提示方案存在较高的误报率，但是我们提出的新的提示策略可以大幅降低误报率，从而显著提高代码检测的整体准确率，对现有的代码检测方法提出了重大挑战。

    Jul, 2023

  • OMPGPT: 一个用于 OpenMP 的生成预训练 Transformer 模型

    OMPGPT 是一个新型的、精心设计的模型，旨在利用语言模型的先天优势进行 OpenMP 预定义指令生成，同时采用 NLP 领域的提示工程技术，通过链式 OMP 提升其效果。在广泛的评估中，我们发现 OMPGPT 在 OpenMP 任务中胜过现有的大型语言模型，并且体积明显更小，更加符合 HPC 环境的硬件限制。我们认为 OMPGPT 是一座重要的桥梁，连接了语言模型的优势与 HPC 任务的特定需求。OMPGPT 的成功为计算效率和效果提供了可靠的基础，并且表明其潜在的适用性和可调整性可以延伸到更广泛的 HPC 任务范畴，从而在计算效率和效果领域开辟了新的道路。

    Jan, 2024

  • 创建支持 OpenMP Fortran 和 C++ 代码翻译的数据集

    本研究提出了一个新的机器学习模型训练数据集，用于翻译 OpenMP Fortran 和 C++ 代码，使用代码相似性测试进行数据集的初步筛选，该数据集可以显著提高大规模语言模型的翻译能力，并突出了该数据集在高性能计算代码翻译领域推动的潜力。

    Jul, 2023

  • 针对代码合成大型语言模型的危险分析框架

    研究提出了一个基于规范提示的先进代码生成技术能力评估框架，并构建了 OpenAI 的危害分析框架，以揭示类似 Codex 模型的部署可能会对技术、社会、政治和经济方面带来的危险或安全风险。

    Jul, 2022

  • 利用大型语言模型建模并行程序

    本文介绍了如何将大型语言模型应用于高性能和科学代码的特定任务中，并通过实验展示了如何使用新模型 HPC-Coder 解决一些现有模型无法解决的问题。

    Jun, 2023

  • MPIrigen: 基于领域特定语言模型的 MPI 代码生成

    MPIrigen 是一个通过领域特定微调为并行计算代码生成优化语言模型的定制解决方案，能够准确生成 0.8 的 MPI 函数位置和功能预测，并且超过 0.9 的参数预测准确率，为自动并行化工具的新一代铺平了道路。

    Feb, 2024

  • 通过廉价高效的提示工程提升 GitHub Copilot 的基于 AI 的代码合成安全性

    提出并评估了三种 Prompt 修改方法，并在实际场景中使用 OpenVPN 项目对 GitHub Copilot 的有效性进行了评估，结果表明这些方法可减少不安全的生成代码样本的数量高达 16％，增加安全代码的数量高达 8％。

    Mar, 2024