May, 2024

语言模型可复现评估的实践经验

PDF
TL;DR在 NLP 中，评估语言模型的有效性仍然是一个开放性挑战。本文通过三年的经验总结提供了对评估语言模型的指导和教训，并介绍了用于独立、可重现和可扩展评估语言模型的开源库。
language modelsevaluationmethodological issuesreproducibilitytransparency
发现论文，激发创造
  • 成本困境：大规模语言模型的泛化、评估和成本优化部署

    通过提出一个专为大型语言模型量身定制的泛化、评估和成本建模框架，我们认为在部署大型语言模型之前，企业需要仔细评估泛化、评估和成本优化三个因素。

    Aug, 2023

  • 对大型语言模型评估的调查

    大语言模型（LLMs）的评估方法是研究这些模型的重要组成部分，这篇综述介绍了评估 LLMs 的方法和维度，并总结了 LLMs 在不同任务中的成功案例、失败案例和未来挑战。

    Jul, 2023

  • 大型语言模型能否替代人类评估？

    本文介绍了使用大型语言模型（LLM）代替人类评估来评估人工智能生成的文本的潜力，探索了 LLM 对两个自然语言处理任务的开放性故事生成和对抗性攻击的评估结果，并发现 LLM 评估结果与人类专家的评估结果保持一致。

    May, 2023

  • 什么是最好的模型？用于大型语言模型的应用驱动评估

    通过构建一个应用驱动的评估基准，我们提供了一种选择最佳模型的方法，并推动其应用和发展。

    Jun, 2024

  • LLMEval：大型语言模型评估初探

    最近，大型语言模型的评估已成为一个热门的研究领域。本文分析了不同评估方法，比较了各种标准和评分系统，在多个任务和测试中使用了不同的评估者和评分方法，提出了一个新的数据集 LLMEval，并对 20 个大型语言模型进行了评估，得出了 10 个结论，为将来的语言模型评估提供了一些启示。

    Dec, 2023

  • 使用模型编写的评价方法发现语言模型行为

    本文研究了不同规模的语言模型的行为表现，并提出一种使用语言模型自动生成评估的方法，并发现了一些逆比例缩放情况下的新现象，例如：更大的语言模型表现为对资源获取和目标保持更浓厚的兴趣，并且此类的逆比例缩放（Inverse scaling）情况在 RL from human feedback 上也得到了验证。

    Dec, 2022

  • FreeEval: 大型语言模型的可靠高效评估的模块化框架

    介绍了一个名为 FreeEval 的模块化和可扩展框架，用于可靠高效地自动评估大型语言模型，通过统一的架构整合了各种评估方法，并结合人工评估和数据污染检测等元评估技术，实现了评估结果的公平性。

    Apr, 2024

  • 利用大型语言模型进行自然语言生成评估：综述

    自然语言生成（NLG）评估中引入大型语言模型（LLM）为评估生成内容质量提供了新的途径，本文提供了对利用 LLM 进行 NLG 评估的全面概述，包括组织现有基于 LLM 的评估指标的一致性分类法、批判性评估不同的 LLM 方法以及比较其在评估 NLG 输出中的优势和局限性，讨论未解决的挑战，并推动更公平、更先进的 NLG 评估技术。

    Jan, 2024

  • PRE: 基于同行评审的大型语言模型评估器

    通过同行评审机制，我们提出了一种能够自动评估大型语言模型的新框架，用于解决评估成本高、泛化能力低以及评估中的偏见等问题。我们在文本摘要任务上进行了广泛实验，结果表明使用单一语言模型评估存在偏见，并证明了我们的同行评审机制的有效性。

    Jan, 2024

  • 评估语言模型代理的方法与谈判

    通过协商游戏来共同评估语言模型的性能和对齐情况，发现开源模型目前无法完成这些任务，合作协商游戏具有挑战性，最强大的模型并非总是 “赢家”。

    Jan, 2024