Aug, 2023

Thresh: 统一的、可定制和可部署的细粒度文本评估平台

PDF
TL;DR本文介绍了 Thresh，一个统一、可定制、可部署的细粒度评估平台。用户只需创建一个 YAML 配置文件，就可以在几分钟内构建和测试适用于任何框架的注释界面，轻松完成多个 NLP 任务的细粒度评估。
fine-grained evaluationannotation interfaceunified annotated data formatmulti-task learningthresh
发现论文，激发创造
  • T5Score: 生成式评估度量的判别微调

    该研究提出了一个结合监督学习和无监督信号的框架，使用 T5Score 作为度量标准，对生成文本进行评估，并通过实验数据表明 T5Score 在各个数据集上均取得了最佳表现。

    Dec, 2022

  • 朝向可解释和高效的基于参考文献的自动文摘评估

    本研究旨在开发两种不同的自动评估测量标准来评价文本摘要的质量，其中包括两种可以在单元级别和总结级别上提供高可解释性的两阶段测量标准和一种在效率和互操作性之间取得平衡的一阶段测量标准。同时，我们开发的工具已经通过 Python 软件包和 GitHub 免费提供给公众。

    Mar, 2023

  • Themis：面向灵活且可解释的自然语言生成评估

    为了解决自然语言生成任务（NLG）的评估问题，本文构建了一个大规模的 NLG 评估语料库 NLG-Eval，并提出了一个专门用于 NLG 评估的大型语言模型 Themis，该模型通过多角度一致性和基于评分偏好的方法进行训练，能够灵活、可解释地进行评估，无需参考，并在各种 NLG 任务上展现出优越的评估性能，同时在未见任务上具有良好的泛化能力，超越了其他评估模型，包括 GPT-4。

    Jun, 2024

  • TweetEval: 微博分类的统一基准和比较评估

    本文提出了一个新的评估框架（TweetEval），由七个异构 Twitter-specific 分类任务组成，并提供了一组强基准作为起点，并比较了不同的语言建模预训练策略，初步实验表明使用现有的通用语言模型预训练，然后在 Twitter 集上继续训练是很有效的。

    Oct, 2020

  • Fennec：通过分支与桥接扩展的细粒度语言模型评估和校正

    利用开源大型语言模型作为评估器的评估框架 Fennec 扩展了细粒度纠正能力，通过多方面切分和融合不同训练数据集，提高了回应质量，在 MT-Bench 上实现 1-2 个点的改善。

    May, 2024

  • 用于神经 NLP 的精细可解释性评估基准

    本文提出了一种新的基准来评估神经网络模型和显著性方法的解释能力，其中包含英文和中文标注数据以及用于评估解释能力的标记。实验结果揭示了三种模型和三种显著性方法的解释能力的优劣，希望这个基准可以促进建立值得信赖的系统的研究。

    May, 2022

  • FLASK：基于对齐技能集的细粒度语言模型评估

    基于技能集的细粒度语言模型评估 FLASK，通过分解粗粒度评分到实例级的技能集级别，能够更准确地衡量模型性能并通过分析使语言模型在特定技能方面更加熟练。

    Jul, 2023

  • 朝着自然语言引导的无人机：带有空间关系匹配的 GeoText-1652 基准

    无人机通过自然语言命令导航仍然是一个重要的挑战，该研究通过 GeoText-1652 数据集和空间关系匹配的优化目标，展示了利用自然语言命令提升无人机控制和导航的潜力。

    Nov, 2023

  • GPTScore：任意评估

    本文提出了一种新的评估框架 GPTScore，利用生成预训练模型的崭新能力对生成的文本进行评分，实验结果表明该方法能够高效地实现对文本的定制化、多方面评估，不需要注解样本。

    Feb, 2023

  • Prometheus: 语言模型细粒度评估能力的引入

    通过建立 Feedback Collection 数据集，使用 Prometheus 这一开源 LLM 评估模型，我们可以有效地根据用户提供的评分标准来评估任何长篇文本，其得分与人类评估员的相关性达到了 0.897，与 GPT-4 相当，并且明显优于 ChatGPT (0.392)。

    Oct, 2023