Aug, 2024

小型语言模型与大型语言模型的结合:在幻觉检测中平衡延迟、可解释性和一致性

TL;DR本研究针对大型语言模型在实时应用中幻觉检测存在的延迟问题,提出了一种新颖的框架,采用小型语言模型进行初步检测,再由大型语言模型提供详细解释。通过有效的提示技术,此方法显著优化了实时可解释的幻觉检测,实验结果证明其有效性,提升了用户体验。