Oct, 2022

通过倒排索引加速语言模型的问答任务

TL;DR本研究基于倒排索引的机制,结合大型语言模型,以提高封闭领域中的问答模型的效率,实验证明使用倒排索引平均响应时间提高了 97.44%,同时由于减少了搜索范围,平均 BLEU 分数提高了 0.23。