May, 2023

一步步采样:适应性一致性用于LLMs高效推理

TL;DR本文介绍了一种新的自适应一致性技术,用于提高大型语言模型输出结果的正确性和降低采样成本,实验证明该技术能够将采样成本降低最多6倍并且保持高精度。