Jun, 2024
LLM 加速、优化和应用的新解决方案
New Solutions on LLM Acceleration, Optimization, and Application
Yingbing Huang, Lily Jiaxin Wan, Hanchen Ye, Manvi Jha, Jinghua Wang...
TL;DR该研究综述了针对大型语言模型(LLMs)的挑战以及提高系统效率的最新进展和研究方向,包括算法级加速技术、LLM 硬件与软件协同设计策略、LLMs 加速器编译方法以及利用 LLMs 辅助电路设计的方法。通过这些工作,旨在为 LLMs 在各种应用中实现更高效、可扩展的部署铺平道路。