EMNLPNov, 2023

Elo 揭示：语言模型评估的稳健性和最佳实践

PDF
TL;DR在自然语言处理 (NLP) 中，Elo 等级系统被用于评估大型语言模型 (LLMs) 的准确性和可靠性，然而其在评估具有恒定技能水平，如 LLMs 等实体方面的适用性仍然相对未被探索。本文研究了评估方法应遵循的两个基本公理：可靠性和传递性，并通过广泛的 Elo 行为评估，阐述了个体 Elo 计算的波动性，并深入探讨了 Elo 等级系统超参数变化的影响。我们发现这些公理并不总是得到满足，提出了当前 LLMs 的比较评估的可靠性问题。如果当前使用 Elo 得分来替代昂贵的 LLMs 比较，确保排名尽可能健壮是至关重要的。我们的研究结果根据这些公理为改进 LLMs 评估方法提供了具体指导，这意味着需要重新评估现有的比较方法。
发现论文，激发创造
  • 提升 LLMs 的信任度：比较和解释 LLMs 的算法

    评估技术在提高大规模语言模型（LLM）的可信度和理解性方面起到了至关重要的作用，通过算法方法和评估指标来评估 LLM 的性能，发现其弱点，并引导其发展以实现更可信赖的应用。

    Jun, 2024

  • 形式胜于内容：大型语言模型的评估偏见

    在评估自然语言生成的过程中，使用大型语言模型 (LLMs) 作为人类评判的替代方法是一种最新的趋势。然而，本研究发现其评估结果存在偏见。为解决这一问题，提出了多维度独立评估系统 (Multi-Elo Rating System)，在提高 LLM 评估质量方面取得了显著成效，但对众包评估没有明显改善，需要进一步探索和改进。

    Jul, 2023

  • 大型语言模型能否替代人类评估？

    本文介绍了使用大型语言模型（LLM）代替人类评估来评估人工智能生成的文本的潜力，探索了 LLM 对两个自然语言处理任务的开放性故事生成和对抗性攻击的评估结果，并发现 LLM 评估结果与人类专家的评估结果保持一致。

    May, 2023

  • 大型语言模型的评估存在不一致和偏见

    本研究通过使用 SummEval 数据集进行一系列分析，证实了大型语言模型作为评估器在以下方面存在偏见和不一致性：（1）体现对低困惑度文本的偏好；（2）显示具有偏见的评分分布；（3）经历多属性判断时的锚定效应。此外，我们分享了配置大型语言模型评估器以减轻这些限制的方法，通过 RoSE 数据集的实验证明了与最先进的大型语言模型评估器相比的改进。

    May, 2024

  • 大型语言模型不是公正的评估器

    本文发现了采用大型语言模型（LLMs）作为评判器来评分候选模型生成内容质量的评估范式中的系统偏差。作者提出了两种校准策略来解决这个问题。经过广泛实验，这种方法成功缓解了评估偏差，与人类判断更加接近。为了促进更加强大的大型语言模型比较的未来研究，作者将文章中的技术集成到一个易于使用的工具包 FairEval 中，同时结合了人工注释。

    May, 2023

  • 对大型语言模型评估的调查

    大语言模型（LLMs）的评估方法是研究这些模型的重要组成部分，这篇综述介绍了评估 LLMs 的方法和维度，并总结了 LLMs 在不同任务中的成功案例、失败案例和未来挑战。

    Jul, 2023

  • 核心竞争力视角下的大型语言模型评估调查

    从预训练语言模型（PLM）到大型语言模型（LLM），自然语言处理（NLP）领域已经取得了明显的性能提升和广泛的实际应用。为了解决评估 LLM 的困难，这篇论文调查了关于 LLM 评估的多篇论文，并总结了 LLM 的四个核心能力，包括推理、知识、可靠性和安全性。在这个能力结构下，相似的任务被合并以反映相应的能力，而新的任务也可以轻松地添加到系统中。最后，给出了关于 LLM 评估未来方向的建议。

    Aug, 2023

  • 通过最大差异竞争实现对大型语言模型的高效人工评估

    提出一种基于最大偏差（MAD）竞争的样本有效人工评估方法，用于评估大型语言模型的能力与相对优劣，并针对知识理解、数学推理、写作和编码等四种技能，提供有价值的进一步研究发展的见解。

    Apr, 2024

  • 基于大型语言模型的评估器能够解决多语种评估的扩展问题吗？

    通过对大型语言模型的评估，本文发现 LLM-based evaluators 在多语言评估方面可能存在偏差，并需要使用本地语言的数据集进行校准。

    Sep, 2023

  • 利用大型语言模型进行自然语言生成评估：综述

    自然语言生成（NLG）评估中引入大型语言模型（LLM）为评估生成内容质量提供了新的途径，本文提供了对利用 LLM 进行 NLG 评估的全面概述，包括组织现有基于 LLM 的评估指标的一致性分类法、批判性评估不同的 LLM 方法以及比较其在评估 NLG 输出中的优势和局限性，讨论未解决的挑战，并推动更公平、更先进的 NLG 评估技术。

    Jan, 2024