Feb, 2024

MPIrigen: 基于领域特定语言模型的 MPI 代码生成

PDF
TL;DRMPIrigen 是一个通过领域特定微调为并行计算代码生成优化语言模型的定制解决方案，能够准确生成 0.8 的 MPI 函数位置和功能预测，并且超过 0.9 的参数预测准确率，为自动并行化工具的新一代铺平了道路。
parallel computingmessage passing interface (mpi)language modelsmpi-based program generationdomain-specific fine-tuning
发现论文，激发创造
  • MPI-rical：基于数据驱动的 Transformer 辅助 MPI 分布式并行计算

    研究了在高性能计算中，将串行代码转换为多线程代码以在共享和分布式内存系统上实现源到源并行化是具有挑战性的任务，并提出了一个基于转换器的模型（MPI-rical）的新方法，该模型使用 25,000 个串行代码片段及其相应的并行化 MPI 代码从我们的语料库（MPICodeCorpus）中自动生成 MPI 代码，以实现分布式内存的源代码并行化。

    May, 2023

  • 领域特定代码语言模型：揭示高性能计算代码和任务的潜力

    通过开发针对特定领域的较小语言模型，我们质疑现有的语言模型选择，构建了一个针对高性能计算（HPC）领域的 MonoCoder 模型，它在非 HPC 和 HPC 任务中实现了类似甚至更好的性能，并在高性能和并行代码生成中取得出色结果。

    Dec, 2023

  • OMPGPT: 一个用于 OpenMP 的生成预训练 Transformer 模型

    OMPGPT 是一个新型的、精心设计的模型，旨在利用语言模型的先天优势进行 OpenMP 预定义指令生成，同时采用 NLP 领域的提示工程技术，通过链式 OMP 提升其效果。在广泛的评估中，我们发现 OMPGPT 在 OpenMP 任务中胜过现有的大型语言模型，并且体积明显更小，更加符合 HPC 环境的硬件限制。我们认为 OMPGPT 是一座重要的桥梁，连接了语言模型的优势与 HPC 任务的特定需求。OMPGPT 的成功为计算效率和效果提供了可靠的基础，并且表明其潜在的适用性和可调整性可以延伸到更广泛的 HPC 任务范畴，从而在计算效率和效果领域开辟了新的道路。

    Jan, 2024

  • 基于图形转换器的 OpenMP 并行化建议

    本文提出了一个基于 Transformer 的模型 OMPIfy，它利用源代码的图形表示来检测和预测并行代码中的 OpenMP Pragmas 和共享内存属性，使用大量的开源代码和最新的 AI 和自然语言处理技术，解决了自动并行化的问题。在大型语料库上评估，OMPIfy 在 F1 得分和准确性方面均优于现有方法，特别是在常用的 OpenMP 基准测试中，OMPIfy 达到了高达 90％的准确性。

    May, 2023

  • CodeGen: 一个用于代码的开放式大语言模型，支持多轮程序综合

    本文介绍了一种基于大型语言模型的程序合成方法，其中所训练的模型在自然语言处理和编程语言数据上具有竞争力，以及构建的开放式基准 Multi-Turn Programming Benchmark，该基准将单个程序分解为多个提示，从而显着提高了程序综合的准确性。本文提供了 JAXFORMER 的开放源码，以便更广泛地使用。

    Mar, 2022

  • MapCoder: 多智能体编码生成竞争问题求解

    使用多智能体提示的新方法进行代码生成任务，利用四个特定设计的语言模型代理模拟人类开发者在程序综合的全部周期中观察到的阶段，展示出优秀的代码生成能力并取得新的最先进结果。

    May, 2024

  • 评估 OpenAI Codex 在 HPC 并行编程模型内核生成方面的表现

    本文通过使用 AI 辅助生成能力和 GitHub Copilot 生成的不同语言（C++，Fortran，Python 和 Julia）的高性能计算的基本数值内核代码，提出了一种衡量模型和编程模型之间关系的 “熟练度度量标准”，研究结果显示 OpenAI Codex 的输出与编程模型的使用和发展成熟度相关。

    Jun, 2023

  • 利用大型语言模型建模并行程序

    本文介绍了如何将大型语言模型应用于高性能和科学代码的特定任务中，并通过实验展示了如何使用新模型 HPC-Coder 解决一些现有模型无法解决的问题。

    Jun, 2023

  • 使用 Transformer 在共享内存环境中学习并行化

    本研究提出使用自然语言处理的技术，替代源代码到源代码编译器，使得并行共享内存更加容易。为了达到这个目的，我们创建了一个名为 Open-OMP 的语料库，并用它来训练多个转换器模型，最终展现出在 OpenMP 指示符的原则上的更好性能

    Apr, 2022

  • 大型语言模型能否编写并行代码？

    本研究提出了一个用于评估最新语言模型在生成并行代码方面能力的基准测试集，以及评估了多个开源和闭源语言模型在此基准测试集上的性能，并引入了用于比较并行代码生成性能的新指标，旨在探讨每个语言模型在不同并行编程模型和计算问题类型上的表现。

    Jan, 2024