ACLAug, 2020

面向可分解度量的 AMR 文本生成可解释性评估

PDF
TL;DR该论文旨在解决采用自动表面匹配度量评估 AMR 生成自然语言文本系统时存在的问题，并提出了一种基于两个原则的可分解度量方法，其中一个原则度量 AMR 文本的生成和还原之间的距离，另一个原则则度量生成文本的语言质量。
natural language text generationamrevaluation metricsamr parserslinguistic quality
发现论文，激发创造
  • 基于原则的 AMR 相似度评估

    本文提出了一种新的度量标准 S$^2$match，它可以比较 Abstract Meaning Representation (AMR) graphs 并评估 triple matches，与具有类似功能的 Smatch 和 SemBleu 比较后，S$^2$match 具有更好的性能，能够更好地控制偏差。

    Jan, 2020

  • 基于语义相似度评分的面向意义的自然语言生成测度评估动态、解释性清单

    本研究旨在支持对生成文本的质量评估，并针对属性更相关性的 NLG 评估指标进行比较评估，提出了一种 AMR-based CheckList 方法，用于意义相关的语言现象，设计了 GraCo 评估指标，使用 AMR 计算词汇凝聚图，表明其作为一种有趣的 NLG 评估指标值得未来的研究探讨。

    May, 2022

  • 机器翻译可解释评估指标的研究

    本概念论文介绍了可解释机器翻译指标的关键属性和目标，并提供了最新的基于生成模型的可解释性指标技术综合。同时，我们展望了下一代技术包括自然语言解释，并希望本文能够帮助促进和指导未来可解释评估指标的研究，同时有助于更好、更透明的机器翻译系统。

    Jun, 2023

  • 面向自然语言生成的可解释评估度量

    本文提出了解释性机器翻译评估指标的关键属性和目标并综述了最近的方法，通过实验发现当前的对抗性 NLP 技术不能自动识别高质量黑盒评估指标的局限性，提出了未来解释性评估指标的发展方向。

    Mar, 2022

  • 通过语法分解 AMR 生成

    将从 “抽象意义表达”（AMR）生成的过程分解成两个步骤，即首先生成句法结构，然后生成表面形式，从而实现了最先进的单模型性能，同时生成了与原 AMR 图形意义相同的句法释义。

    Apr, 2018

  • DecompEval：以无监督分解的问答方式评估生成文本

    本文提出了一种简单而有效的度量方法 DecompEval，该方法在自然语言生成（NLG）评估中使用了指令调整的预训练语言模型，以提高其泛化能力和可解释性。实验结果表明，DecompEval 在未训练的度量标准中取得了最先进的性能，适用于评估文本摘要和对话生成的各种任务和评估维度，并具有较强的泛化能力和可解释性。

    Jul, 2023

  • 使用基于 AMR 的语义操作进行对话连贯性评估

    提出使用抽象含义表示 (AMR) 进行语义级别操纵的对话连贯性评价标准 (DEAM)，在多个对话数据集上，DEAM 与人类判断的相关性高于基准方法，且能够区分基准操纵生成的连贯和不连贯的对话，DEAM 具有语义级别的操纵和自然的负样本生成潜力。

    Mar, 2022

  • AMR-to-English 生成系统的人类评价

    本文针对从 AMR 生成英文文本的文本生成技术的研究，提出了新的人类评估方法，以便更准确地衡量其流利程度、完备性和错误类型，结果显示人类判断能够提供更细致的比较结果和常见错误分析。

    Apr, 2020

  • SBERT 研究意义表示：将句子嵌入分解为可解释的语义特征

    该论文介绍了一种新的基于 semantically structured sentence BERT embeddings（S^3BERT）的方法，通过近似可解释的 AMR 图表特征的方法将句子嵌入分解为语义特征，并通过 SBERT 教师模型的相似度打分来约束分解学习过程，从而保持神经嵌入的效力和效率。

    Jun, 2022

  • 使用抽象意义表示法测量细粒度语义等效性

    本篇研究提出了一种新方法用于识别句子间的语义等效性，该方法基于抽象意义表示图结构，并展示了这种方法在语义相似度方面的精度更高，认为这有助于减轻人类对机器翻译的后期编辑和对句子相似度的人工评估的负担。

    Oct, 2022