Feb, 2024
元排名:不太强大的语言模型能够进行单一回应判断
Meta Ranking: Less Capable Language Models are Capable for Single Response Judgement
Zijun Liu, Boqun Kou, Peng Li, Ming Yan, Ji Zhang...
TL;DR我们提出了一种名为 Meta Ranking (MR) 的新方法,通过比较目标查询 - 响应对与参考查询 - 响应对,使能力较弱的大语言模型能够有效判断个别响应的可靠性,并且在推理任务中实现了出色的误差检测效果,可以用于改进大语言模型的性能,如查询路由和迭代训练数据过滤等实际应用中。