May, 2023

FrugalGPT:如何在降低成本和提高性能的同时使用大型语言模型

TL;DR该研究分析了使用大型语言模型的成本,并提出了三种降低推理成本的策略,包括提示适应,LLM 近似和 LLM 级联。 基于这些策略,我们提出了 FrugalGPT,它可以使用不同的组合来降低成本并提高准确性。