Oct, 2023

AUTOPARLLM: 使用大型语言模型的 GNN 引导自动代码并行化

PDF
TL;DRAUTOPARLLM 是一个用于自动发现并生成顺序程序的并行版本的框架，通过使用异构图神经网络（GNN）进行并行性发现和并行模式检测，并结合 LLM 代码生成器，能够有效改善并行代码生成任务中的多个代码生成指标，并且通过引入 OMPScore 衡量方法，提供了一种优于现有指标的评估生成代码质量的方法。
发现论文，激发创造
  • 利用大型语言模型建模并行程序

    本文介绍了如何将大型语言模型应用于高性能和科学代码的特定任务中，并通过实验展示了如何使用新模型 HPC-Coder 解决一些现有模型无法解决的问题。

    Jun, 2023

  • 大型语言模型能否编写并行代码？

    本研究提出了一个用于评估最新语言模型在生成并行代码方面能力的基准测试集，以及评估了多个开源和闭源语言模型在此基准测试集上的性能，并引入了用于比较并行代码生成性能的新指标，旨在探讨每个语言模型在不同并行编程模型和计算问题类型上的表现。

    Jan, 2024

  • APAR: LLMs 可以进行自动并行自回归解码

    通过并行自回归生成的方法以及与推理解码相结合，可以显著提高大型语言模型的生成速度和性能。

    Jan, 2024

  • LLM4PLC：工控系统中基于大型语言模型的可验证 PLC 编程

    提出 LLM4PLC 的用户引导迭代流程，通过用户反馈和外部验证工具来改善大型语言模型（LLM）生成的代码的可验证性，提高成功生成的比例并提高代码质量。

    Jan, 2024

  • 使用增强异构 AST 表示学习 OpenMP 并行化

    本研究提出了一种基于图的学习方法 Graph2Par，该方法利用了一种包含丰富信息的异构增强抽象语法树（Augmented-AST）表示形式，并在 OpenMP 中主要关注循环级别并行化。通过创造一个包含 18598 个可并行化和 13972 个非可并行化循环的 OMP_Serial 数据集来训练机器学习模型，研究结果表明，该方法可以以 85％的准确度检测出可并行化的代码区域，并且优于基于状态的 Token 的机器学习方法。这些结果表明，该方法与最先进的工具具有竞争力，能够处理其他工具可能忽略的复杂结构的循环。

    May, 2023

  • PanGu-$α$: 大规模自回归预训练中文语言模型及自动并行计算

    本文介绍了在 MindSpore 框架下使用 2048 Ascend 910 AI 处理器集群训练了包含 2000 亿个参数的 PanGu-alpha 预训练语言模型及其并行算法，测试了其在各种场景下的生成能力 (包括文本摘要、问答、对话生成等) 以及探究其在零样本及少样本情况下的表现，证明了其在这些任务中的卓越能力。

    Apr, 2021

  • 基于 LLM 的自主代理通过图学习释放力量

    使用大型语言模型（LLMs）作为自主代理，简化多样真实世界图的学习过程，响应用户请求并生成数据自动解决方案，涉及图数据处理、自动机器学习配置、搜索架构和超参数微调。提出的 Auto$^2$Graph 方法在不同数据集和学习任务上展现可比较的性能，代理产生类似人类决策。

    Sep, 2023

  • 基于图形转换器的 OpenMP 并行化建议

    本文提出了一个基于 Transformer 的模型 OMPIfy，它利用源代码的图形表示来检测和预测并行代码中的 OpenMP Pragmas 和共享内存属性，使用大量的开源代码和最新的 AI 和自然语言处理技术，解决了自动并行化的问题。在大型语料库上评估，OMPIfy 在 F1 得分和准确性方面均优于现有方法，特别是在常用的 OpenMP 基准测试中，OMPIfy 达到了高达 90％的准确性。

    May, 2023

  • OMPGPT: 一个用于 OpenMP 的生成预训练 Transformer 模型

    OMPGPT 是一个新型的、精心设计的模型，旨在利用语言模型的先天优势进行 OpenMP 预定义指令生成，同时采用 NLP 领域的提示工程技术，通过链式 OMP 提升其效果。在广泛的评估中，我们发现 OMPGPT 在 OpenMP 任务中胜过现有的大型语言模型，并且体积明显更小，更加符合 HPC 环境的硬件限制。我们认为 OMPGPT 是一座重要的桥梁，连接了语言模型的优势与 HPC 任务的特定需求。OMPGPT 的成功为计算效率和效果提供了可靠的基础，并且表明其潜在的适用性和可调整性可以延伸到更广泛的 HPC 任务范畴，从而在计算效率和效果领域开辟了新的道路。

    Jan, 2024

  • 探索和表征用于嵌入式系统开发和调试的大型语言模型

    LLMs like GPT-4 show exceptional cross-domain understanding and reasoning for embedded systems development, producing fully correct programs, functional interfaces, register-level drivers, code for LoRa communication, and context-specific power optimizations, resulting in improved productivity and success rate using an AI workflow.

    Jul, 2023