Jun, 2023

HAUSER: 面向综合和自动评价的比喻生成技术研究

PDF
TL;DR本研究建立了 HAUSER，一个全面自动的评估系统用于比喻生成任务，其中包括三个角度的五个标准和每个标准的自动衡量标准，通过广泛的实验，我们验证了我们的度量标准与每个角度的人类评分显著相关比先前的自动度量标准。
发现论文，激发创造
  • 人类标准与自动度量 —— 评估故事生成的基准

    本文通过提出 6 个人工评估标准，构建一个注释数据集‘HANNA’，并分析 72 种自动指标与人工标准的相关性，强调了当前 ASG 的评价标准的缺陷，并提出了实用的评价建议。

    Aug, 2022

  • 自然语言生成中的自动评估的玻璃天花板

    本文对比了现有的自动评估指标和人工评估指标，发现自动评估指标与人工评估指标相比非常相似，并提出了未来评估工作的建议。

    Aug, 2022

  • 语言生成评估指标的奇异案例：一则警示故事

    本文探讨了自然语言处理中，现有的语言生成系统的自动评估指标的局限性，提出了一些应该受到更多关注的失败案例，鼓励研究人员更加谨慎地考虑如何评价自动生成的文本。

    Oct, 2020

  • 对话评估指标的全面评估

    这篇论文对 23 种不同的自动评估度量在 10 个不同的数据集上进行了评估，并在不同的设置中对其进行了评估，从而更好地确定它们各自的优缺点。综合评估提供了关于对话评估指标的几个认识，为未来的研究提供了有用的指导。

    Jun, 2021

  • 度量度量工具：文本语料库语义度量自动评估

    通过提出一系列的评估度量，本文对语义相似度度量的特征进行自动和可解释的评估，从而实现了对不同语义相似度度量方法行为的合理比较。通过对经典方法和最新方法的评估，我们的度量揭示了最近开发的度量在识别语义分布不匹配方面变得更好，而经典度量则对表面文本水平的扰动更加敏感。

    Nov, 2022

  • 自动度量文本生成系统有效性研究

    本篇论文提出了一种新的理论方法，用以评估文本生成模型的可靠性与鲁棒性，并在 WMT 21 和 Spot-The-Bot 数据上进行了应用与验证，并实现了对样本量的有效估算。

    Oct, 2022

  • 自动医疗记录生成评估指标研究

    本文旨在研究自动生成临床笔记的评估方法和度量标准，提出了新的任务特定度量标准，并将其与现有文本摘要和生成的 SOTA 度量标准进行比较，研究分布和测量不同的自动摘要的正确性，并试图确定与人类判断相一致的最佳自动评估指标。

    May, 2023

  • 为何我们需要新的自然语言生成评价指标

    本文探究了 NLG 评估中常用的自动化评估方法的局限性，并提出了一种系统和数据独立的新型评价方法，包括先进的基于词汇和基于语法的度量。实验证明，这些方法并不能完全反映人的判断，且表现受到数据与系统的影响。但是，自动评估仍可支持系统的开发，发现系统表现不佳的问题。

    Jul, 2017

  • 建立统一的人体动作生成评估框架：指标的比较分析

    发展用于人类动作生成的生成式人工智能迅速扩展，需要一个统一的评估框架。本文详细评述了八种用于人类动作生成的评估指标，突出其独特特点和不足之处。我们提出了一种标准化实践，通过一个统一的评估设置来促进一致的模型比较。此外，我们引入了一种新的度量标准，通过分析时间扭曲的多样性来评估时间数据的多样性，从而增强了时间数据的评估能力。我们还使用一个公开可用的数据集对三个生成模型进行了实验分析，提供了在特定案例场景中对每个度量标准的解释。我们的目标是为初学者提供一个清晰、用户友好的评估框架，并附带公开可访问的代码。

    May, 2024

  • 对开放领域对话系统进行可配置评估指标的解构与重构

    我们提出了一种灵活的度量方法，并通过组合可管理的质量、将质量分成三组，并将每个方面的指标合成为一个指标，得到了名为 USL-H 的度量方法，证明了 USL-H score 与人工评价具有良好的相关性和可配置性。

    Nov, 2020