Jun, 2024

Chat AI：一个无缝的 Slurm 原生解决方案，用于基于 HPC 的服务

PDF
TL;DR提供一种基于云端虚拟机的网络服务架构，与高性能计算系统相结合，通过 Slurm 集群实现运行大规模语言模型，提供一种安全、私密的可替代商业大规模语言模型服务的解决方案。
language modelsserving infrastructurehpc systemscloud systemssecure alternative
发现论文，激发创造
  • 基于需求定制的 LMLs 服务

    通过引入层级分布式的大型语言模型（LLM）架构，提高 LLM 在异构计算平台上的可访问性和可部署性，实现按需访问和定制化服务，并在用户与应用需求之间取得最佳权衡，推动人工智能技术的进步。

    Jan, 2024

  • 安全自助大型语言模型探索的制度化平台

    本文介绍了由肯塔基大学应用人工智能中心开发的一种用户友好的平台，旨在提高大型定制化语言模型（LLMs）的可用性。通过利用最近在多 LoRA 推理方面的进展，该系统有效地适应了各种用户和项目的定制适配器。该论文概述了系统的体系结构和主要特点，包括数据集筛选、模型训练、安全推理和基于文本的特征提取。

    Feb, 2024

  • 无服务器机器学习模型推理调查

    最近在生成人工智能、计算机视觉和自然语言处理方面的进展，已经使得人工智能模型得到了广泛应用。这种广泛应用需要在生产环境中部署这些模型，确保可靠性、最小的停机时间以及优化基础设施的运营成本。大型机器学习模型经常需要 GPU 资源以进行高效推理，以满足服务级别目标。在这些趋势的背景下，人们越来越关注在无服务器架构中托管 AI 模型，并提供推理任务的 GPU 访问。这项调查旨在总结和分类大规模深度学习服务系统中的新兴挑战和优化机会。通过提供新颖的分类法和总结最近的趋势，我们希望这项调查能为大规模深度学习服务系统的新的优化视角提供启示，并激发出创新作品。

    Nov, 2023

  • FusionAI: 基于大规模消费级 GPU 的分布式训练和部署 LLMs

    在这篇研究论文中，我们提出了一个分散系统，利用具有隐私保护功能的消费级 GPU 在对大型语言模型进行预训练、推理和微调时发挥潜在的巨大作用。通过采用备用资源池实现计算提供者的动态加入和退出、基于硬件性能的任务调度、抽象化机器学习过程为有向无环图以实现模型和任务的通用性、抽象化中间表示和执行平台以确保各种设备和深度学习框架的兼容性等，我们的性能分析表明，50 个 RTX 3080 GPUs 的吞吐量可与 4 个昂贵的 H100 GPUs 相媲美。

    Sep, 2023

  • 大规模生成模型时代的计算：从云原生到 AI 原生

    探讨大型生成式 AI 模型与云原生计算架构的交叉点，提出了一种利用云原生技术和先进的机器学习运行时的 AI 本地化计算范式，旨在优化成本和提高资源可访问性。

    Jan, 2024

  • 可扩展、分布式 AI 框架：利用云计算提高深度学习性能和效率

    本文全面研究了利用云计算的可扩展和分布式人工智能框架以提高深度学习性能和效率的关键方面，包括数据存储和管理、优化策略、模型部署与服务等，并讨论了云计算人工智能的挑战、限制和未来研究方向。

    Apr, 2023

  • 朝向高效的生成式大型语言模型服务：从算法到系统的调研

    人工智能中生成式大型语言模型的高效部署方法的综述

    Dec, 2023

  • AI-coupled HPC 工作流程

    通过将人工智能 / 机器学习模型集成到传统超级计算机工作流中，这篇论文讨论了提高科学性能的多种方式和生产级用例，并介绍了解决极限规模 AI 结合 HPC 活动的主要挑战和几种框架和中间件方案。

    Aug, 2022

  • 定位论文：高性能计算研究与低延迟学习机制的现状和挑战

    近期，语言模型（尤其是大型语言模型）在深度学习领域引发了一场革命。本文提出了将这些模型技术应用于高性能计算任务的观点，并强调了现有思想在此领域中如何改进和适应。

    Feb, 2024

  • BC4LLM：当区块链遇见大型语言模型时的可信人工智能

    利用区块链技术赋能大型语言模型以构建可信赖的人工智能，主要包括可靠的学习语料库、安全的训练过程和可识别的生成内容，同时探讨了在通信网络领域的潜在应用和未来挑战。

    Oct, 2023