Jun, 2022
不让任何参数落下：蒸馏和模型大小对零 - shot 检索的影响
No Parameter Left Behind: How Distillation and Model Size Affect Zero-Shot Retrieval
Guilherme Moraes Rosa, Luiz Bonifacio, Vitor Jeronymo, Hugo Abonizio, Marzieh Fadaee...
TL;DR本研究表明，在信息检索任务中，经过裁剪的小型语言模型是大型、速度慢得多的模型的强有力竞争者。在信息检索实际应用中，由于延迟限制，压缩和稠密模型成为首选。然而，通过实验，我们发现模型大小和早期查询文档交互对检索模型的泛化能力起着重要作用。增加模型大小在相同领域的测试数据集上几乎没有增益，但在从未在训练中见过的新领域上存在更大的提高。此外，我们还显示 reranker 在几个任务中大大优于其大小相似的稠密模型。我们的最大 reranker 在 Benchmark-IR（BEIR）的 18 个数据集中的 12 个数据集中达到了最先进水平，平均超过了以前的最优结果 3 个点。最后，我们证实，域内有效性不是零 - shot 有效性的好指标。