Oct, 2023

分级评估框架：人工评估的最佳实践

PDF
TL;DR通过对现有文献进行广泛分析，我们发现在自然语言处理的人工评估方法中存在一些缺陷，这促使我们开发了一种层次化评估框架，该框架具有更全面地表示自然语言处理系统性能的显著优点，并应用于评估机器阅读理解系统及其与人工智能共生模型中的输入和输出的质量之间的关联。
human evaluationnlpevaluation metricshierarchical evaluation frameworkmachine reading comprehension system
发现论文，激发创造
  • AI 系统中自然语言理解的评估框架的再思考：语言习得作为未来指标的核心

    人工智能领域，大型语言模型在自然语言处理方面的前所未有的进步为重新考虑传统的机器智能度量提供了机会。本文提出了从既定的图灵测试转向以语言习得为核心的全面框架，受到了大型语言模型最新进展的启发。

    Sep, 2023

  • HCI+NLP 系统设计和评估方法

    介绍了五种方法论提案，并将其位于 ML-based 的 NLP 模型的背景下，以在 HCI 和 NLP 交叉的位置上培育跨学科合作和进步。

    Feb, 2021

  • 医疗领域生成型大型语言模型人工评估的文献综述与框架

    该研究回顾了健康医疗领域中基于大型语言模型的人工智能生成文本的人工评估方法，并使用 QUEST 框架提出了一个标准化和统一的人工评估方法，旨在提高可靠性和适用性。

    May, 2024

  • HumanRankEval: 作为对话助手的语言模型的自动评估

    为了加快语言模型作为对话助手的发展，我们提出了一种新的自动评估任务：HumanRankEval（HRE）。它由一个大规模、多样化和高质量的问题集组成，每个问题都有几个由人类撰写和评分的答案。通过对 HRE 排列这些答案并计算它们与相应人类排名的相关性，我们支持了 HRE 的有效性，并研究了它在不同大小的预训练和指导调整语言模型中的效率。我们展示了 HRE 与人类判断相关，并且在指导调整后对模型变化特别敏感。

    May, 2024

  • 自然语言生成中的自动评估的玻璃天花板

    本文对比了现有的自动评估指标和人工评估指标，发现自动评估指标与人工评估指标相比非常相似，并提出了未来评估工作的建议。

    Aug, 2022

  • 人还是机器？自动化自然语言生成文本人类相似性评估

    本文提出了一种基于大型预训练语言模型和概率分布的区分程序来自动评估自然语言生成方法产生的文本样本的人类相似度分数，与人类判断的自动评估进行了验证。

    Jun, 2020

  • 评估问答系统：评判自然语言的复杂性

    本文针对问答系统的发展历程、评估指标及其相应的理论框架进行综述，并探讨了相关的评估方法和数据集。

    Sep, 2022

  • 自然语言处理性能评估指标的全球分析

    本文介绍了自然语言处理领域中用于测量模型性能的度量标准，发现当前使用的大多数指标存在评估不足及解释性差等问题，导致透明性和可重复性的降低。

    Apr, 2022

  • 人工评估指南中对漏洞的定义和检测：实现可靠的自然语言生成评估的初步研究

    通过收集从现有论文中提取的指南注释以及由大型语言模型（LLMs）生成的指南注释，我们提出了第一个人工评估指南数据集，并引入了八种漏洞的分类和组成评估指南的原则。此外，我们还探索了使用 LLMs 检测指南漏洞的方法，并提供了一套增强人工评估可靠性的建议。

    Jun, 2024

  • 大型语言模型能否替代人类评估？

    本文介绍了使用大型语言模型（LLM）代替人类评估来评估人工智能生成的文本的潜力，探索了 LLM 对两个自然语言处理任务的开放性故事生成和对抗性攻击的评估结果，并发现 LLM 评估结果与人类专家的评估结果保持一致。

    May, 2023