Jun, 2024
解密用于多样化 LLM 推理用例的平台要求
Demystifying Platform Requirements for Diverse LLM Inference Use Cases
Abhimanyu Bambhaniya, Ritik Raj, Geonhwa Jeong, Souvik Kundu, Sudarshan Srinivasan...
TL;DR研究使用 GenZ 工具来探讨大型语言模型的推理性能与各种平台设计参数之间的关系,并提供配置不同工作负载和用例的平台要求,在不同场景下支持 SOTA LLMs 模型的分析,也展示了为支持未来可能超过数万亿参数的 LLMs 所需的硬件能力预测。