提出了一种利用GPT模型进行对话系统评估的新框架，通过对模型进行特定条件训练来生成评估指标，采用少量的演示和指导进行提示，可以在自动化评估过程中取得与人类评价高度相关的结果。

Apr, 2023

本文提出了LLM-Eval，一种针对使用大型语言模型（LLM）的开放领域对话进行多维自动评估的统一方法。通过设计基于单个提示的评估方法来覆盖会话质量的多个方面，LLM-Eval可以在单个模型调用中进行。我们对LLM-Eval在各种基准数据集上的性能进行了全面评估，表明它相对于最先进的评估方法具有高效性和适应性。同时，该分析还强调了选择适当的LLM和解码策略以获得准确评估结果的重要性。LMM-Eval为评估开放领域对话系统提供了一种多功能且强大的解决方案，可以简化评估过程并在不同场景中提供一致的性能。

May, 2023

研究通过结合当前评估模型的优势与新建立的提示性大语言模型的范式，提出了一种新颖的框架，以实现对对话的鲁棒性和多语言性评估能力，并在多个基准测试中取得了最先进的成果，并在DSTC11轨道4“开放领域对话系统的自动评估指标”中分别在鲁棒性和多语言任务中名列前茅，证明了提示性大语言模型的评估能力。

Aug, 2023

利用 GPT-4 对人类风格的多轮对话进行评估，发现大语言模型在生成多轮对话方面具有出色的质量，明显优于其他模型。

Oct, 2023

本文提出了DialogBench，这是一个用于评估LLMs作为类似人类对话系统的能力的对话评估基准，包含12个对话任务。通过对28个LLMs进行广泛的测试，结果表明虽然细化调整能改善LLMs的人类对话系统相似度，但对于大多数LLMs仍有提升空间。

Nov, 2023

自动对话评估的研究中，大型语言模型、神经度量指标以及元评估数据集的应用，以及模型层次和维度层次的集成对评估性能的影响进行了全面的研究。

Dec, 2023

使用Small and Large Integrated for Dialogue Evaluation（SLIDE）框架，结合小型专门模型（SLM）和大型语言模型（LLMs）来解决开放领域对话系统中的一对多问题和领域特定场景下的性能不佳问题。该方法通过对比学习、语义敏感度度量和结合SLM和LLMs的评估结果等技术，实现了分类和评估任务的最新性能，并且SLIDE评估器与人工判断更好地相关。

May, 2024

聊天机器人的评估是一个重要问题，本研究介绍了一种综合评估机制，该机制结合了人类评估和基于LLM的评估，并通过实验证明基于因子的评估在LLM应用中提供更好的洞察力，进一步加强了在主要功能不是直接检索的关键空间中使用人类评估的论点。

Jun, 2024

该论文探讨了使用大型语言模型（LLMs）进行自动对话质量评估的方法，并在公共和专有数据集上尝试了各种配置。结果表明，更大的模型产生了更准确的对话标签；算法选择背景上下文示例优于随机选择；在输出最终标签之前，使用“思维链”（CoT）推理和标签提取过程进行合理化，可以提高性能；精细调整的LLMs优于开箱即用的模型。研究结果表明，合适地调整和具有足够推理能力的LLMs可以用于自动对话评估。

Jun, 2024

本研究解决了当前开放领域对话评估中缺乏适应现代聊天机器人的基准问题。通过引入基于Soda的Soda-Eval数据集，该数据集提供了超过12万次对话轮次的评估注释，并使用此基准评估多种开放获取的指令调优模型，发现对话评估仍然面临挑战，模型微调提升了评估效果。

Aug, 2024