通过构建一个综合的人工评估框架，我们提出了一个评估大规模语言模型在不同实际任务中遵循指令的能力的方法，同时设计了详细的评估标准和过程，释放了一个包含不同难度水平和知识领域的测试集，并分析了自动化评估的可行性。我们的研究为评估英语和中文大规模语言模型的人类对齐性提供了一个标准化的方法，旨在促进安全和人类对齐性大规模语言模型发展进步的基准化。

Nov, 2023

Large Language Models 的元评估问题是如何可靠地评估生成文本的一个关键研究问题。为了解决这一挑战，提出了 Decompose and Aggregate 方法，将评估过程分解为不同阶段，从而提供了更可解释的界面，并在多个元评估基准上实现了多种 Large Language Models 的评估性能提升高达 39.6%。

May, 2024

通过混合主动的方式，我们提出了 EvalGen 接口，用于 “验证验证器”，通过与人类需求对齐以改善与 LLM 生成评估函数（提示或代码）相关的问题。研究发现了一种现象，称为‘criteria drift’，用户需要通过对输出进行评分来定义评分标准，但评分输出帮助用户界定标准，而某些标准与特定 LLM 输出相关，这引发了对假设评估与模型输出的独立性的严重问题。我们展示了接口和实施细节，与基准方法进行比较，并对未来 LLM 评估助手的设计提出了建议。

Apr, 2024

自动校准基于大语言模型的评估器以提高与人类评估的相关性。

Sep, 2023

为了解决开放式自然语言生成任务中评估标准不一致的挑战，我们提出了一种协同评估流程 CoEval，涉及特定任务标准的清单设计和文本的详细评估，其中大型语言模型生成初步的构思，而人类进行审查，结果显示，通过利用大型语言模型，CoEval 能够高效地评估长文本，节省时间并减少人类评估的异常值，人类审查仍然起着重要作用，以最终确保可靠性。

Oct, 2023

通过评估多个用户定义的标准，使用自然语言描述系统的评估器提供的反馈，从而使开发人员能够通过迭代改进引导语。与手动评估相比，EvalLM 有助于参与者构建更多样化的标准，检查两倍数量的输出，并在减少 59% 的修订次数后获得令人满意的引导语。该研究可扩展到模型评估和特定应用环境中的对齐。

Sep, 2023

利用 GPT-4 自动生成并通过人工验证的方式，我们构建了一个评估 LLMs 文化维度的新基准，CDEval。通过研究主流 LLMs 的文化方面，我们得出了一些有趣的结论，强调了在 LLM 开发中整合文化考量的重要性，特别是在多元文化环境中的应用。通过 CDEval，我们旨在为 LLM 的未来发展和评估提供一个更全面的框架，为文化研究提供宝贵的资源，为构建更具文化意识和敏感性的模型铺平道路。

Nov, 2023

在评估自然语言生成的过程中，使用大型语言模型 (LLMs) 作为人类评判的替代方法是一种最新的趋势。然而，本研究发现其评估结果存在偏见。为解决这一问题，提出了多维度独立评估系统 (Multi-Elo Rating System)，在提高 LLM 评估质量方面取得了显著成效，但对众包评估没有明显改善，需要进一步探索和改进。

Jul, 2023

利用大型语言模型进行评估的新方法 “Fusion-Eval” 在 SummEval 数据集上取得了 0.96 的 Spearman 相关性，超过了其他评估方法，在 LLM 评估领域树立了新的标准。

Nov, 2023

我们提出了一个针对多语言情景下 LLMs 作为评估器的端到端评估框架，并创建了一个用于评估 LLM-based 评估器的精心策划的数据集，该数据集覆盖 10 种语言，包含本族语言者对摘要任务的判断。我们比较了基于 GPT-3.5-Turbo、GPT-4 和 PaLM2 创建的 LLM-based 评估器的性能，结果表明，基于 GPT-4 的 LLM-based 评估器在各种语言中表现最好，而 GPT-3.5-Turbo 的表现不佳。此外，我们对 LLM-based 评估器提供的推理进行分析，发现它往往与人类评判所提供的推理不一致。

Apr, 2024