SIGIRApr, 2024
基于大型语言模型的排序列表截断
Ranked List Truncation for Large Language Model-based Re-Ranking
Chuan Meng, Negar Arabzadeh, Arian Askari, Mohammad Aliannejadi, Maarten de Rijke
TL;DR我们从新的 “检索 - 然后重新排名” 的角度研究了排名列表截取（RLT），通过对检索列表进行截断（即修剪重新排名的候选项），我们优化了重新排名。我们通过复现现有的 RLT 方法来填补这个研究空白，特别是基于大型语言模型（LLM）的重新排名。我们从三个角度考察了在 “检索 - 然后重新排名” 设置下针对 LLM 重新排名的 RLT 方法，分别是评估 LLM 基于词汇的第一阶段检索下的 RLT 方法、研究不同类型的第一阶段检索器对 RLT 方法的影响以及研究不同类型的重新排名器对 RLT 方法的影响。我们在 TREC 2019 和 2020 深度学习环节上进行实验，研究 8 种 RLT 方法在涉及 3 个检索器和 2 个重新排名器的流水线上的表现，并对 RLT 方法在重新排名的背景下得出了新的见解。