May, 2024

Parrot: 基于语义变量的 LLM 应用的高效服务

TL;DRParrot 是一种面向基于 LLM 的应用程序的 LLM 服务系统,通过引入 Semantic Variable 实现了端到端性能的提升,能够在 LLM 请求之间进行流程设计,并在多个 LLM 请求之间建立数据管道,从而显著改善 LLM 应用程序的性能。