Jan, 2024

OMPGPT: 一个用于 OpenMP 的生成预训练 Transformer 模型

PDF
TL;DROMPGPT 是一个新型的、精心设计的模型，旨在利用语言模型的先天优势进行 OpenMP 预定义指令生成，同时采用 NLP 领域的提示工程技术，通过链式 OMP 提升其效果。在广泛的评估中，我们发现 OMPGPT 在 OpenMP 任务中胜过现有的大型语言模型，并且体积明显更小，更加符合 HPC 环境的硬件限制。我们认为 OMPGPT 是一座重要的桥梁，连接了语言模型的优势与 HPC 任务的特定需求。OMPGPT 的成功为计算效率和效果提供了可靠的基础，并且表明其潜在的适用性和可调整性可以延伸到更广泛的 HPC 任务范畴，从而在计算效率和效果领域开辟了新的道路。
large language modelcode-basedhigh-performance computingompgptopenmp tasks
发现论文，激发创造
  • HPC-GPT：大规模语言模型在高性能计算中的整合

    提出基于 HPC 领域的 LLaMA 模型 HPC-GPT，通过生成的 QA 实例进行细粒度调整，提升 LLM 在高性能计算任务中的性能表现。通过在 AI 模型、数据集管理以及数据竞争检测等 HPC 任务中使用 HPC-GPT，得到与现有方法相媲美的结果，展示其在 HPC 相关场景下的优秀性能。实验结果表明 HPC-GPT 潜力巨大，能够弥合 LLM 和 HPC 特定任务之间的性能差距，为复杂计算应用中的语言模型的使用铺平道路。

    Oct, 2023

  • 基于图形转换器的 OpenMP 并行化建议

    本文提出了一个基于 Transformer 的模型 OMPIfy，它利用源代码的图形表示来检测和预测并行代码中的 OpenMP Pragmas 和共享内存属性，使用大量的开源代码和最新的 AI 和自然语言处理技术，解决了自动并行化的问题。在大型语料库上评估，OMPIfy 在 F1 得分和准确性方面均优于现有方法，特别是在常用的 OpenMP 基准测试中，OMPIfy 达到了高达 90％的准确性。

    May, 2023

  • ModelGPT: 发挥 LLM 的能力进行定制模型生成

    通过使用 Large Language Models (LLMs)，我们提出了 ModelGPT 框架，以满足用户的特定需求，并以更快的速度生成定制化的 AI 模型，以实现更加便利和用户友好的人工智能模型。

    Feb, 2024

  • 探索大型语言模型在解决编程问题中的鲁棒性

    该研究探讨了大型语言模型在编程问题中的应用，发现最新技术如 InstructGPT 和 ChatGPT 在处理指令时表现优异，而早期使用变量名如 Codex 的模型的性能受描述问题时表浅的指标较大影响。

    Jun, 2023

  • h2oGPT：大规模语言模型的民主化

    介绍了一种基于 h2oGPT 平台的开源语言模型，旨在创建开源的比闭源 GPT 更好的大型语言模型，这将促进 AI 的发展并使其更加可靠和透明。

    Jun, 2023

  • 使用 Transformer 在共享内存环境中学习并行化

    本研究提出使用自然语言处理的技术，替代源代码到源代码编译器，使得并行共享内存更加容易。为了达到这个目的，我们创建了一个名为 Open-OMP 的语料库，并用它来训练多个转换器模型，最终展现出在 OpenMP 指示符的原则上的更好性能

    Apr, 2022

  • 比较 Llama-2 和 GPT-3 LLMs 用于 HPC 内核生成

    我们评估了开源 Llama-2 模型在不同并行编程模型和语言上生成众所周知的高性能计算内核（例如 AXPY、GEMV、GEMM）的使用情况。我们使用简单的提示通过 GitHub Copilot 基于 OpenAI Codex 生成类似的内核，以比较 Llama-2 和我们原始的 GPT-3 基准的准确性，并报告了基于这些基础的大型语言模型的区别，因为生成式人工智能继续重新定义人机交互。总体而言，Copilot 生成的代码更可靠但不太优化，而 Llama-2 生成的代码在正确时更优化但不太可靠。

    Sep, 2023

  • 生成式大型语言模型是全能文本分析引擎：文本对文本学习是您所需的全部

    通过基于生成型大型语言模型（LLM）的通用文本到文本学习架构和提示调优，解决主要的临床自然语言处理（NLP）任务，并提供了最新的性能。

    Dec, 2023

  • BookGPT：基于语言模型的图书推荐通用框架

    本文介绍了一种基于 ChatGPT 的 BookGPT 书籍推荐系统，利用大型语言模型技术实现了书籍的评分、用户评分和书籍概述等三项典型任务。同时，本文还讨论了 BookGPT 在书籍推荐场景中的优缺点，并分析了后续 LLM 在这些场景中的机遇和改进方向。

    May, 2023

  • 设计驱动编程：GPT-4 推动敏捷模型驱动开发

    使用大型语言模型（LLMs）如 ChatGPT 从自然语言中生成代码似乎是开创性的。然而，随着更广泛的使用，显然这种方法有自己的局限性。本研究提出了一种敏捷模型驱动开发（MDD）方法，使用 OpenAI 的 GPT-4 来增强代码自动生成。我们的工作强调 “敏捷性” 是对当前 MDD 方法的重要贡献，特别是当模型发生变化或需要部署到不同的编程语言时。因此，我们展示了一个案例研究，展示了无人驾驶车队的多代理仿真系统。在我们的方法的第一层和第二层，我们使用统一建模语言（UML）图示构建了案例研究的文本表示。在下一层中，我们引入了两组约束，以最小化模型的歧义性。对象约束语言（OCL）被应用于微调代码构建细节，而 FIPA 本体论用于塑造通信语义和协议。最后，利用 GPT-4，我们的最后一层自动生成 Java 和 Python 两种代码。Java 代码在 JADE 框架中部署，而 Python 代码在 PADE 框架中部署。在研究的结论部分，我们进行了对生成代码的全面评估。从行为角度来看，自动生成的代码与预期的 UML 顺序图完全一致。结构上，我们比较了仅受 OCL 约束的从 UML 图中导出的代码与既受 OCL 又受 FIPA 本体论影响的代码的复杂性。结果表明，本体论约束的模型产生了固有更复杂的代码，但仍然可管理并且对进一步的测试和维护风险较低。

    Oct, 2023