Jun, 2024
大和小语言模型协同解码的经验研究
Fast and Slow Generating: An Empirical Study on Large and Small Language Models Collaborative Decoding
Kaiyan Zhang, Jianyu Wang, Ning Ding, Biqing Qi, Ermo Hua...
TL;DR利用 Fast and Slow Generating(FS-GEN)统一框架,研究了大型语言模型(LLMs)与小型语言模型(SLMs)之间的协同解码,包括投机解码、对比解码和仿真或代理微调等技术,并通过 FS-GEN 解析了 LLMs 和 SLMs 之间的不同知识能力,揭示了协同交互的比例需求和基于不确定性的有效合作位置。