May, 2024
HumanRankEval: 作为对话助手的语言模型的自动评估
HumanRankEval: Automatic Evaluation of LMs as Conversational Assistants
TL;DR为了加快语言模型作为对话助手的发展,我们提出了一种新的自动评估任务:HumanRankEval(HRE)。它由一个大规模、多样化和高质量的问题集组成,每个问题都有几个由人类撰写和评分的答案。通过对HRE排列这些答案并计算它们与相应人类排名的相关性,我们支持了HRE的有效性,并研究了它在不同大小的预训练和指导调整语言模型中的效率。我们展示了HRE与人类判断相关,并且在指导调整后对模型变化特别敏感。