Mar, 2025
为推测解码训练领域草稿模型:最佳实践与见解
Training Domain Draft Models for Speculative Decoding: Best Practices
and Insights
TL;DR本研究解决了在领域特定目标模型中使用推测解码时,通用草稿模型由于领域转变而接受率显著下降的问题。通过系统地研究知识蒸馏技术,提出了训练领域草稿模型以提高推测准确性的创新方法。实验结果表明,离线蒸馏超过在线蒸馏11%至25%,为训练领域特定草稿模型提供了实用指导,显著提高了推测解码的效率。