May, 2023

基于关键词的采样(KEYS)用于大型语言模型

TL;DR本文研究了使用抽取的关键词进行采样来生成人类文本回答的问题,提出了一种使用知识蒸馏技术来提取关键词的新方法,并表明该方法在 QA 任务中的表现优于常用的解码方法。