EMNLPNov, 2022

度量度量工具：文本语料库语义度量自动评估

PDF
TL;DR通过提出一系列的评估度量，本文对语义相似度度量的特征进行自动和可解释的评估，从而实现了对不同语义相似度度量方法行为的合理比较。通过对经典方法和最新方法的评估，我们的度量揭示了最近开发的度量在识别语义分布不匹配方面变得更好，而经典度量则对表面文本水平的扰动更加敏感。
semantic similaritynatural language processingevaluation measuresdistributional mismatchsurface text levels
发现论文，激发创造
  • 语义相似度度量方法的描述和评估

    这篇论文介绍了基于结构、信息内容和特征的语义相似度测量方法，并针对两个标准基准进行了分类和评估，目的是为研究人员和从业者选择适合其要求的最佳度量提供有效的评估。

    Oct, 2013

  • 风格转移和改写：寻找合理的语义相似性度量

    本文分析了超过十余种测量两个短文本的语义相似性的方法，并使用一个新的标记为语义相似性的 14,000 句子数据集证明文献中使用的这些度量标准都不能够足够接近人的判断。虽然有一些最近提出的度量标准提供了具有可比性的结果，但 Word Mover Distance 被证明是目前测量改写文本的语义相似性的最合理的解决方案。

    Apr, 2020

  • 语义相似度的演化 -- 综述

    本文旨在全面概述自然语言处理领域中语义相似度计算的研究现状和各种方法及其优劣，将其归类为基于知识、基于语料库和基于深度神经网络等不同原理的方法，并希望能够促进新研究者的创新思路和实验。

    Apr, 2020

  • 自然语言和本体分析的语义相似性

    本书主要介绍语义相似度估计及其它语义度量学科的两种最先进的方法：自然语言处理技术和语义模型以及基于语义网络、词库或本体论的计算机可读的知识形式。它的目的是为初学者和研究人员提供更好地理解语义相似度估计和更一般的语义度量。

    Apr, 2017

  • 基于语义相似度评分的面向意义的自然语言生成测度评估动态、解释性清单

    本研究旨在支持对生成文本的质量评估，并针对属性更相关性的 NLG 评估指标进行比较评估，提出了一种 AMR-based CheckList 方法，用于意义相关的语言现象，设计了 GraCo 评估指标，使用 AMR 计算词汇凝聚图，表明其作为一种有趣的 NLG 评估指标值得未来的研究探讨。

    May, 2022

  • 基于语料库统计和词汇分类的语义相似度

    本文提出了一种通过在词汇分类结构和语料统计信息之间进行结合从而更好地度量语义空间内节点间语义距离的方法。这种综合方法结合了基于边缘计数方案的边缘方法和基于信息内容计算的节点方法，实现了对词对相似性评分数据集的超越性表现，与人类相似性判断的基准最高相关性值为 r=0.828，而在人类主体复制相同任务时可以观察到一个上界（r=0.885）。

    Sep, 1997

  • 跨语言语料库相似度度量方法具有较强的鲁棒性

    本文通过注册预测任务在 39 种语言中实验了基于频率的语料库相似度测量方法，旨在量化各语言语料库之间的距离和单个语料库的同质性，结果表明这些测量方法可以在不同语系、写作系统和形态类型的情况下保持有效性，并且可以应用于低资源语言和不同的语料库集。

    Jun, 2022

  • 对话评估指标的全面评估

    这篇论文对 23 种不同的自动评估度量在 10 个不同的数据集上进行了评估，并在不同的设置中对其进行了评估，从而更好地确定它们各自的优缺点。综合评估提供了关于对话评估指标的几个认识，为未来的研究提供了有用的指导。

    Jun, 2021

  • 自然语言生成中的自动评估的玻璃天花板

    本文对比了现有的自动评估指标和人工评估指标，发现自动评估指标与人工评估指标相比非常相似，并提出了未来评估工作的建议。

    Aug, 2022

  • 混合代码社交媒体文本的复杂度度量

    本文讨论了如何确定在多语混杂的社交媒体文本中代码混杂的复杂度，并提出了新的指标以更好地反映多语混杂文档的复杂性，可应用于句子、段落或整个文档。

    Jul, 2017