Apr, 2024

从模型中心到人本中心：基于语言模型的应用中文本评估的修订距离度量

PDF
TL;DR我们的研究将焦点从以模型为中心的评估方法转变为以人为中心的评估方法，提出了一种名为 “修订距离” 的度量方法，通过计算大型语言模型生成的修订编辑数来评估文本，并在易写作任务和具有挑战性的学术写作任务中提供更准确、详细的反馈，同时在缺乏参考文本的情况下也具有潜力。
large language modelsevaluationhuman-centeredrevision distancetext evaluation
发现论文，激发创造
  • MoverScore: 文本生成的上下文嵌入和地球移动距离评估

    本文研究评估文本生成系统的评价指标，提出了基于语义而非形式的指标 MoverScore，并通过多项任务的验证表明采用上下文表示和距离测度相结合的方法可以取得最佳表现，该指标具有较强的泛化能力，并已提供 Web 服务方便使用。

    Sep, 2019

  • 文本摘要质量评估方法的比较研究

    基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

    Jun, 2024

  • LLM 开放环境下的对等评审：自动评估方法

    通过使用同行评审机制来自动测量大型语言模型的能力并评估其性能，我们提出了一种新颖的无监督评估方法，并通过为每个语言模型分配可学习的能力参数来调整最终排名，以最大化每个语言模型的能力和得分的一致性，并使用 PEN、CIN 和 LIS 三个指标来评估与人工评级的一致性差距，实验证明了该方法的有效性。

    Feb, 2024

  • 重新评估图像字幕自动评估指标

    本文通过一系列的实验，深入评估了现有的图像字幕度量，并探索了最近提出的 Word Mover's Distance（WMD）文档度量在图像字幕中的应用。结果表明，WMD 相比其他度量具有较强的优势。

    Dec, 2016

  • RepEval: LLM 表征的有效文本评估

    自动生成文本的自动评估指标在自然语言生成领域中起着重要作用，特别是随着大规模语言模型的快速发展。然而，现有的评估指标通常局限于特定情景，因此需要新的、灵活和有效的指标。本研究介绍了 RepEval，这是第一个利用 LLM 表示的投影进行评估的指标，通过简单的提示修改，能够轻松适应各种任务。在三个任务中的十个数据集上的结果表明我们方法的高效性，与以前的指标相比，甚至超过了 GPT-4，突显了 LLM 表示中嵌入的有关文本质量的丰富信息，为新指标的开发提供了洞见。

    Apr, 2024

  • 医学多文献摘要自动评估指标与人类评估不符

    为了改进文献综述的多文件摘要 (MDS)，引入包含人工评估的摘要质量特征和成对偏好的数据集，以支持开发更好的自动评估方法，分析了自动摘要评估度量与生成的摘要词汇特征、其他自动度量以及人工评估摘要质量方面的相关性。发现自动化度量无法完全捕捉到人工评估所评估的质量方面。

    May, 2023

  • 使用正则化的 Wasserstein 距离进行跨语言文档检索

    本文提出了一种新的衡量文本差异的度量方法：Word Mover's Distance，通过加入词汇权重和使用熵正则化方法，可以提高跨语言文档检索任务的效果并取得令人瞩目的改进，与多个基线相比表现提高幅度显著。

    May, 2018

  • 校准基于 LLM 的评估器

    自动校准基于大语言模型的评估器以提高与人类评估的相关性。

    Sep, 2023

  • 超越 Flesch-Kincaid：基于提示的度量改善教育文本的难度分类

    使用大型语言模型（LLMs）对教育应用，如基于对话的教学，进行研究是一个热门话题。本研究引入并评估了基于提示的文本难度度量，该度量方法相比静态度量具有更好的性能，并展示了利用 LLMs 评估文本对不同教育水平的适应的潜力。

    May, 2024

  • 提升 LLMs 的信任度：比较和解释 LLMs 的算法

    评估技术在提高大规模语言模型（LLM）的可信度和理解性方面起到了至关重要的作用，通过算法方法和评估指标来评估 LLM 的性能，发现其弱点，并引导其发展以实现更可信赖的应用。

    Jun, 2024