通过使用领域特定的语言模型和专门设计的代码预处理工具 (Tokompiler)，本研究提出了一种提高高性能计算 (HPC) 和编译相关任务中代码完成准确性和语义理解的方法，为领域特定的语言模型开辟了发展新途径。

Aug, 2023

本文介绍了如何将大型语言模型应用于高性能和科学代码的特定任务中，并通过实验展示了如何使用新模型 HPC-Coder 解决一些现有模型无法解决的问题。

Jun, 2023

近期，语言模型（尤其是大型语言模型）在深度学习领域引发了一场革命。本文提出了将这些模型技术应用于高性能计算任务的观点，并强调了现有思想在此领域中如何改进和适应。

Feb, 2024

提出基于 HPC 领域的 LLaMA 模型 HPC-GPT，通过生成的 QA 实例进行细粒度调整，提升 LLM 在高性能计算任务中的性能表现。通过在 AI 模型、数据集管理以及数据竞争检测等 HPC 任务中使用 HPC-GPT，得到与现有方法相媲美的结果，展示其在 HPC 相关场景下的优秀性能。实验结果表明 HPC-GPT 潜力巨大，能够弥合 LLM 和 HPC 特定任务之间的性能差距，为复杂计算应用中的语言模型的使用铺平道路。

Oct, 2023

本文设计了 LM4HPC 框架，以促进利用语言模型进行高性能计算 (HPC) 软件分析和优化的研究和开发。该框架针对支持 HPC 的数据集、AI 模型和流水线进行了定制，可以帮助用户快速评估一组最先进的模型并生成有洞察力的排行榜。

Jun, 2023

本文研究了使用大型语言模型（LLM）在低资源和领域特定编程语言中进行编码的可行性，该类编程语言通常缺乏有效的 LLM 处理所需的数据量。本研究侧重于开源软件 gretl 的计量脚本语言 hansl，并采用基于 GPT-3.5 的专有 LLM。我们的研究发现，LLM 在编写、理解、改进和文档化 gretl 代码方面是一个有用的工具，包括为函数生成描述性文档字符串和为抽象和文档不完整的计量代码提供精确解释。尽管 LLM 展示了 docstring 到代码转换能力的潜力，我们也确定了一些限制，如无法改进某些代码部分和编写准确的单元测试。本研究是利用 LLM 的能力来促进低资源编程语言的软件开发并最终降低其采用门槛的一步。

Jul, 2023

本研究提出了一个用于评估最新语言模型在生成并行代码方面能力的基准测试集，以及评估了多个开源和闭源语言模型在此基准测试集上的性能，并引入了用于比较并行代码生成性能的新指标，旨在探讨每个语言模型在不同并行编程模型和计算问题类型上的表现。

Jan, 2024

该研究调查了代码生成在 “特定领域” 应用中的有效方法，包括使用大型语言模型（LLMs）进行数据分割和更新，以及通过提示调整刺激 LLMs 更深入思考。我们以一款真实的公司产品为例，提供了用户手册、API 文档和其他数据。本文所讨论的思想有助于将这些数据分割并转换为语义向量，以更好地反映它们的真实定位。随后，将用户需求转换为向量以检索最相关的内容，在简单到中等复杂的任务中通过各种提示技术实现约 70% 的准确率。本文首次从这个角度增强了特定领域的代码生成效果。此外，我们还通过使用 llama2 进行基于微调的有限脚本生成实验，测试其在专业领域代码生成中的有效性。这是一个具有挑战性和有希望的领域，一旦实现，它不仅将在多个行业中取得突破，而且还能够使 LLMs 有效地理解和学习任何新知识。

Nov, 2023

提出了一种名为 CodeT5 + 的编译器 - 解码器语言模型，具有灵活的组件模块和多样化的预训练任务，能够在不同的代码相关基准测试中取得最先进的结果，特别是在针对人类评估的代码生成任务中。

May, 2023

基于大规模语言模型的代码生成领域的综述，介绍了对 LLMs 在代码生成领域的最新进展、数据处理、性能评估、实际应用，对学术与实践之间的差距进行了分析，提出了关键挑战和机遇，并提供了一个资源网站以记录和传播该领域的最新进展。

Jun, 2024