May, 2023

MPI-rical：基于数据驱动的 Transformer 辅助 MPI 分布式并行计算

PDF
TL;DR研究了在高性能计算中，将串行代码转换为多线程代码以在共享和分布式内存系统上实现源到源并行化是具有挑战性的任务，并提出了一个基于转换器的模型（MPI-rical）的新方法，该模型使用 25,000 个串行代码片段及其相应的并行化 MPI 代码从我们的语料库（MPICodeCorpus）中自动生成 MPI 代码，以实现分布式内存的源代码并行化。
parallelizationmpicode generationdistributed memory systemsautomated
发现论文，激发创造
  • MPIrigen: 基于领域特定语言模型的 MPI 代码生成

    MPIrigen 是一个通过领域特定微调为并行计算代码生成优化语言模型的定制解决方案，能够准确生成 0.8 的 MPI 函数位置和功能预测，并且超过 0.9 的参数预测准确率，为自动并行化工具的新一代铺平了道路。

    Feb, 2024

  • 基于图形转换器的 OpenMP 并行化建议

    本文提出了一个基于 Transformer 的模型 OMPIfy，它利用源代码的图形表示来检测和预测并行代码中的 OpenMP Pragmas 和共享内存属性，使用大量的开源代码和最新的 AI 和自然语言处理技术，解决了自动并行化的问题。在大型语料库上评估，OMPIfy 在 F1 得分和准确性方面均优于现有方法，特别是在常用的 OpenMP 基准测试中，OMPIfy 达到了高达 90％的准确性。

    May, 2023

  • 使用 Transformer 在共享内存环境中学习并行化

    本研究提出使用自然语言处理的技术，替代源代码到源代码编译器，使得并行共享内存更加容易。为了达到这个目的，我们创建了一个名为 Open-OMP 的语料库，并用它来训练多个转换器模型，最终展现出在 OpenMP 指示符的原则上的更好性能

    Apr, 2022

  • 程序翻译通过代码提取

    在本文中，我们提出了一种名为 Code Distillation（CoDist）的新模型，通过捕捉代码的语义和结构等价性，在语言不可知的中间表示中翻译代码，并通过构造并应用蒸馏编译器实现针对任何编程语言的并行语料库，从而在 CodeXGLUE 和 TransCoder GeeksForGeeks 翻译基准测试上实现了最新的性能，与 TransCoder-ST 相比，在 TransCoder GeeksforGeeks 翻译基准测试上平均绝对增加了 12.7%。

    Oct, 2023

  • AUTOPARLLM: 使用大型语言模型的 GNN 引导自动代码并行化

    AUTOPARLLM 是一个用于自动发现并生成顺序程序的并行版本的框架，通过使用异构图神经网络（GNN）进行并行性发现和并行模式检测，并结合 LLM 代码生成器，能够有效改善并行代码生成任务中的多个代码生成指标，并且通过引入 OMPScore 衡量方法，提供了一种优于现有指标的评估生成代码质量的方法。

    Oct, 2023

  • ML/DL 模型中数据流图的自动任务并行化

    我们提出了一种基于关键路径的线性聚类方法，利用机器学习数据流图中的并行路径来优化图的结构，从而加速串行执行速度，并在编译和运行时优于一些当前机制。

    Aug, 2023

  • 利用大型语言模型建模并行程序

    本文介绍了如何将大型语言模型应用于高性能和科学代码的特定任务中，并通过实验展示了如何使用新模型 HPC-Coder 解决一些现有模型无法解决的问题。

    Jun, 2023

  • LASSI：基于 LLM 的自动纠错管道用于翻译并行科学代码

    提出了一种自动化流水线框架 LASSI，用于在科学和工程领域为 LLMs 提供大量训练数据，并通过自校正循环的方式在并行编程语言之间进行双向翻译，验证了 LASSI 的有效性。

    Jun, 2024

  • IRCoder: 中间表示使语言模型具有鲁棒性的多语言代码生成器

    通过利用编译器中间表示来改进代码语言模型的多语言能力，并促进跨语言转换，该研究探讨了在代码语言模型中利用编译器中间表示的可行性和优势，构建了一个并行数据集 SLTrans，并通过对不同规模的代码语言模型进行连续因果语言建模训练，从而在各种代码生成任务和度量标准中实现了显著和一致的提升。

    Mar, 2024

  • GSPMD: 用于 ML 计算图的通用可扩展并行化

    GSPMD 是一种自动的、基于编译器的并行化系统，可用于对机器学习计算进行并行处理，它使用少量标注进行张量分布，能够在各种模型上表达不同的并行化范式，并解决了多个技术挑战，可在具有万亿级参数的模型上实现 50％至 62％的计算利用率。

    May, 2021