Jul, 2023

NetGPT: 一种面向个性化生成服务的本地 AI 网络架构

TL;DR本篇文章提出了一种基于协作的云边协同方法,称为 NetGPT,它能够有效地编排异构分布式通信和计算资源,并应用于提供个性化的生成服务,使用代表性的开源 LLMs(例如 GPT-2-basic 和 LLaMA 模型)的可行性,重点强调了用于实现本机 AI 网络体系结构的实质性变化,并演示了 NetGPT 的几个副产品优势。