EMNLPOct, 2023

结构化预测的评估度量的统一视角

PDF
TL;DR我们提出一个概念框架，统一了不同结构预测任务（例如事件和关系提取，句法和语义解析）的各种评估指标。通过将这些任务的输出表示为某些数据类型的对象，并通过匹配共同子结构，可能跟随标准化，推导出指标。我们演示了如何用这个框架简洁地表达许多任务的常用指标，并显示可以自然地基于输出结构自下而上地推导出新的指标。我们发布了一个库，使得可以派生出新的指标。最后，我们考虑了任务的特定特性如何推动指标设计决策，并建议根据这些动机可能修改现有的指标。
发现论文，激发创造
  • 知识图谱中基于排名评估度量的统一框架

    介绍了基于排名的指标来生成缺失的负样本，提出了两种改进现有指标的方法（不同聚合函数和概率理论），并提出了更易于解释和比较的几个新的基于排名的指标，而且还伴随着使用这些指标评估知识图谱嵌入模型的示例。

    Mar, 2022

  • 结构化合成表格数据的评估

    通过提出一个带有单一、数学目标的评估框架，该论文意在解决合成表格数据质量评估的问题，允许通过结构化的方式推断度量的完整性，并统一从忠实性、下游应用和基于模型的方法等多个角度出发的度量，展示了显式表达结构的合成数据生成器在小型数据集上的卓越表现。

    Mar, 2024

  • 基于依存句法模型的自动机器翻译评价度量

    通过对依存分析模型理解，提出一种不需要人工定义子结构的新的自动评估度量标准，以获取词汇相似性，并取得系统水平的最佳性能。

    Aug, 2015

  • 机器学习回归、预测和预测中的性能度量（误差度量）：属性和分类

    本研究分析了各种性能指标及其分类方法，提出了 “主要指标、扩展指标、组合指标、度量组合集合” 四种性能指标类型，并确定了影响主要指标结构和特性的三个关键组成部分：点距离确定方法、规范化方法和数据集上点距离聚合方法.

    Sep, 2018

  • 基于合成语料的主题建模算法新评估框架

    该论文提出了一种基于合成语料库的新框架，用于评估概率主题建模算法，通过比较标记在标记级别上的指定主题标签，能够量化种植和推断主题结构之间的一致性。通过实验，揭示了主题模型的相对强度随语料库特征变化的新见解，并首次证明了主题模型的 “不可检测阶段”。并预测了在真实世界语料库中应用的主题建模算法的性能。

    Jan, 2019

  • 关于语言模型在视觉概念语义相似度评估方面的可解释性研究

    这篇研究探讨了高性能预训练语言模型的表现，并提出了一些可解释的评估指标用于理解检索实例的概念质量，并对具有明显查询语义的对抗性干预进行了测试，揭示了不透明指标中的漏洞并显示了学习语言表示中的模式。

    Sep, 2022

  • 朝向可解释和高效的基于参考文献的自动文摘评估

    本研究旨在开发两种不同的自动评估测量标准来评价文本摘要的质量，其中包括两种可以在单元级别和总结级别上提供高可解释性的两阶段测量标准和一种在效率和互操作性之间取得平衡的一阶段测量标准。同时，我们开发的工具已经通过 Python 软件包和 GitHub 免费提供给公众。

    Mar, 2023

  • Concept2vec：评估本体概念嵌入质量的度量标准

    提出一个包含三个不同任务的框架，关注本体概念的不同方面，并为框架中的每个任务提出了多个内部度量标准，以评估嵌入质量，进而比较可用的嵌入模型的质量，以在将来的研究中使用该框架来减少错误判断并提供更深入的了解。

    Mar, 2018

  • 通用信息提取作为统一语义匹配

    本文提出了一种基于统一语义匹配框架的信息提取方法，解决了传统方法因具体任务需定制模型且仅能适用于有见过的数据集的问题，通过对信息提取进行结构化和概念化两个基本能力的分离并引入三个统一的标记链接操作，在 4 个 IE 任务中达到了最先进的性能并表现出了强大的泛化能力。

    Jan, 2023

  • TweetEval: 微博分类的统一基准和比较评估

    本文提出了一个新的评估框架（TweetEval），由七个异构 Twitter-specific 分类任务组成，并提供了一组强基准作为起点，并比较了不同的语言建模预训练策略，初步实验表明使用现有的通用语言模型预训练，然后在 Twitter 集上继续训练是很有效的。

    Oct, 2020