Feb, 2024

定位论文：高性能计算研究与低延迟学习机制的现状和挑战

PDF
TL;DR近期，语言模型（尤其是大型语言模型）在深度学习领域引发了一场革命。本文提出了将这些模型技术应用于高性能计算任务的观点，并强调了现有思想在此领域中如何改进和适应。
发现论文，激发创造
  • 利用大型语言模型建模并行程序

    本文介绍了如何将大型语言模型应用于高性能和科学代码的特定任务中，并通过实验展示了如何使用新模型 HPC-Coder 解决一些现有模型无法解决的问题。

    Jun, 2023

  • 由学徒到研究助理：大型语言模型推动研究

    通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管 LLMs 具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于 LLMs 在研究中负责任应用的持续对话。

    Apr, 2024

  • 大型语言模型的硬件加速器调查

    该研究综述了与优化大型语言模型性能和能源效率相关的硬件加速器，涵盖了多种加速器的体系结构、性能指标和能源效率考虑，并为研究人员、工程师和决策者在现实应用中优化大型语言模型的部署提供了有价值的见解。

    Jan, 2024

  • 领域特定代码语言模型：揭示高性能计算代码和任务的潜力

    通过开发针对特定领域的较小语言模型，我们质疑现有的语言模型选择，构建了一个针对高性能计算（HPC）领域的 MonoCoder 模型，它在非 HPC 和 HPC 任务中实现了类似甚至更好的性能，并在高性能和并行代码生成中取得出色结果。

    Dec, 2023

  • LLM 加速、优化和应用的新解决方案

    该研究综述了针对大型语言模型（LLMs）的挑战以及提高系统效率的最新进展和研究方向，包括算法级加速技术、LLM 硬件与软件协同设计策略、LLMs 加速器编译方法以及利用 LLMs 辅助电路设计的方法。通过这些工作，旨在为 LLMs 在各种应用中实现更高效、可扩展的部署铺平道路。

    Jun, 2024

  • 应用大型语言模型于建筑能效和碳减排研究的机遇与挑战：一项探索性概述

    近年来，大型语言模型（LLMs）在各个领域取得了快速进展和令人印象深刻的能力。本文探讨了 LLMs 在建筑能效和碳减排研究中的应用、影响和潜力。文章考察了 LLMs 在建筑能源领域的广泛能力，包括智能控制系统、代码生成、数据基础设施、知识提取和教育。尽管 LLMs 具有很大的潜力，但仍存在复杂和昂贵的计算、数据隐私、安全和版权、精细调整 LLMs 的复杂性以及自一致性等挑战。文章最后呼吁未来的研究集中在增强 LLMs 的领域特定任务、多模式 LLMs 和人工智能与能源专家之间的合作研究上。

    Dec, 2023

  • 大型语言模型用于科学研究的跨学科视角

    大型语言模型 (LLMs) 能够在不同学科领域发挥作用和限制，加强科学研究，例如通过总结大量出版物加速文献回顾，通过自动语法纠正提升代码开发，和优化科学写作过程。然而，LLMs 面临挑战，如依赖庞大且有时偏颇的数据集，以及出于使用而引发的潜在伦理困境。我们对 LLMs 在不同领域的影响进行重要讨论，从自然科学中帮助模拟复杂生物序列，到社会科学中解析大规模的定性数据。最后，我们提供一种细致的观点，认为 LLMs 既是科学进步的福音，也是其边界。

    Nov, 2023

  • 范围就是一切：将 LLMs 转化为 HPC 代码

    通过使用领域特定的语言模型和专门设计的代码预处理工具 (Tokompiler)，本研究提出了一种提高高性能计算 (HPC) 和编译相关任务中代码完成准确性和语义理解的方法，为领域特定的语言模型开辟了发展新途径。

    Aug, 2023

  • 探索大型语言模型的领域、技术与挑战

    对于大型语言模型（LLMs）的研究，包括基本原理、应用领域以及训练过程，本综述论文对于上下文学习、多种微调方法以及参数使用效率优化等机制进行探讨，同时深入研究了如何通过创新的强化学习框架和融入人类反馈的新方法来更好地与人类偏好相统一的问题。还研究了将外部知识融入 LLMs 的新兴技术 —— 检索增强生成。对于 LLMs 的伦理问题，论文讨论了需谨慎且负责任的应用需求。最后，论文展望了未来的研究方向，提供了关于当今及未来 LLMs 领域中不断发展的全面且简明的概述，为人工智能领域的研究人员和实践者提供了有益的指南。

    Apr, 2024

  • 高效大型语言模型：综述

    大型语言模型在自然语言理解、语言生成和复杂推理等重要任务中展示出了卓越的能力，并有潜力对我们的社会产生重大影响。然而，这些能力所需的资源相当可观，强调了开发有效的技术来解决其效率挑战的迫切需求。本调研以系统和全面的方式概述了高效大型语言模型的研究成果，从模型中心、数据中心和框架中心的角度，将文献进行了分类整理。我们还创建了一个 GitHub 存储库，在这个存储库中收集了本调研中涉及的论文，并将积极维护并整合新的研究成果。希望本调研能为研究人员和从业者提供有价值的资源，帮助他们系统地了解高效大型语言模型的研究进展，并激励他们为这个重要而激动人心的领域做出贡献。

    Dec, 2023