本文提出一种交互式的人工评估对话质量的方法，并介绍了一种基于自我对话的度量方式，该方式可以更好地捕捉对话模型的质量，同时使用了情感和语义连贯性等维度。通过对多个模型的实验比较，研究表明，这种度量方式优于目前已知的所有自动化方法，同时也优于静态会话的人工评估。最后，开放性地共享出研究基于交互式评估所构建的数据集和平台以供其它研究者使用。
Jun, 2019
本研究提出一个基于自我对话模型的评价过程，旨在寻找一种在不同注释人员之间具有更强鲁棒性的评级测试方案。经过实验证明，在这种方案下，我们可以在更快、更便宜的情况下推出新的测试标准并发布开源代码。
Sep, 2019
本文介绍了一种名为“Spot The Bot”的聊天机器人评估框架，该框架使用“生存分析”作为度量标准，并通过与其他聊天机器人的比较，评估其在模拟人类会话行为方面的能力，以此取代传统基于人工评估的方式。
Oct, 2020
提出了一种利用GPT模型进行对话系统评估的新框架，通过对模型进行特定条件训练来生成评估指标，采用少量的演示和指导进行提示，可以在自动化评估过程中取得与人类评价高度相关的结果。
Apr, 2023
通过多代理辩论框架，构建了一个名为ChatEval的多代理裁判团队，用于自主讨论和评估不同模型在开放性问题和传统自然语言生成任务中生成响应的质量，分析结果表明ChatEval不仅仅提供文本评分，还提供了模拟人类评估过程以进行可靠评估。
Aug, 2023
提出了一种基于对话响应之间的比较评估的对话评估度量方法PairEval，该度量方法比基准度量方法更具鲁棒性，并且与人类判断的相关性更高。
Apr, 2024
为了加快语言模型作为对话助手的发展，我们提出了一种新的自动评估任务：HumanRankEval（HRE）。它由一个大规模、多样化和高质量的问题集组成，每个问题都有几个由人类撰写和评分的答案。通过对HRE排列这些答案并计算它们与相应人类排名的相关性，我们支持了HRE的有效性，并研究了它在不同大小的预训练和指导调整语言模型中的效率。我们展示了HRE与人类判断相关，并且在指导调整后对模型变化特别敏感。
May, 2024
聊天机器人的评估是一个重要问题，本研究介绍了一种综合评估机制，该机制结合了人类评估和基于LLM的评估，并通过实验证明基于因子的评估在LLM应用中提供更好的洞察力，进一步加强了在主要功能不是直接检索的关键空间中使用人类评估的论点。
Jun, 2024
本研究解决了当前开放领域对话评估中缺乏适应现代聊天机器人的基准问题。通过引入基于Soda的Soda-Eval数据集，该数据集提供了超过12万次对话轮次的评估注释，并使用此基准评估多种开放获取的指令调优模型，发现对话评估仍然面临挑战，模型微调提升了评估效果。
Aug, 2024
本研究解决了传统评估大型语言模型（LLMs）在问答中的不足，尤其是未考虑人机交互动态特征的问题。我们提出了一个名为IQA-EVAL的自动评估框架，通过引入基于LLM的评估代理（LEA），模拟人类行为并自动评估互动，显著提高了与人类评估的相关性。我们的实验显示，该框架在复杂和模糊的问答任务中将评估成本减少至5000美元。