ACLApr, 2018

语法错误校正的基于无参考的忠实度衡量方法

PDF
TL;DR我们提出了一种用于语法错误纠正的语义度量 USim，它度量了输出与源之间的语义准确性，从而补充了现有的基于无参考的度量方法（RLMs），以测量输出的语法性。USim 通过比较源和修正的语义符号结构来运作，而不依赖于手动策划的参考文献。我们的实验证明了 USim 的有效性，通过以下几点表现：（1）对不良文本可以一致地应用语义标注；（2）有效的修正获得较高的 USim 相似度分数；（3）无效的修正获得较低的分数。
usimsemantic measuregrammatical error correctionreference-less measuressemantic symbolic structure
发现论文，激发创造
  • 没有可比性：语法错误修正中无参考评估指标

    本文研究自动评估语法纠错系统的方法，通过使用无需黄金标准参考的语法度量标准和在句子级别而非文本级别计算语法度量标准，可以极大提高评估的准确度。

    Oct, 2016

  • CLEME: 语法错误修正的去偏置多参考评估

    提出了一种 Chunk-Level Multi-reference Evaluation (CLEME) 方法，通过建立一致边界的块序列并自动确定语法错误边界，以评估多引用设置下的语法纠错系统的性能，CLEME 方法在语料库级别和句子级别设置中比现有基于参考的 GEC 度量表现更好。

    May, 2023

  • 语法错误修正的自动度量验证

    提出了一种自动化方法 MAEGE 用于语法错误校正度量的验证，该方法可以解决现有实践的许多困难并展示了标准的 M2 度量在语料库级别排名上性能较差的新见解。

    Apr, 2018

  • 一种新的评估方法：中文语法错误纠正的评估数据和度量

    提出了三种新的中文错别字纠正 (CGEC) 的评估度量：基于参考的度量方法有句子级别准确度和字符级 BLEU；基于无参考的度量方法采用字符级语义保存度量纠正句子的语义保存程度。期望这些度量成为 CGEC 的新标准。

    Apr, 2022

  • 基于参考文献评估语法错误修正和文本简化存在偏见

    本文研究发现，当前文本直接生成模型质量评估所使用的参考文献太少，导致评估结果偏差较大 (即低覆盖率偏差)，在语法纠错 (GEC) 评估中，无法通过重新缩放或在可以实现的范围内增加参考文献的数量来解决该问题，这是由于单个句子的有效修正的分布具有长尾性。该问题促使 GEC 系统在可以生成有效修正的情况下避免进行纠正，使得现有系统的表现比人类相当或更好，类似的现象在文本简化中也得到了支持。

    Apr, 2018

  • CLEME2.0：通过解构编辑项实现更可解释的语法错误修正评估

    本篇论文着重于改进语法错误修正（GEC）度量的可解释性，提出了基于参考的评估策略 CLEME2.0，描述了 GEC 系统的四个基本维度，即击中修正、错误修正、欠修正和过修正，综合这些维度对系统进行评估，能够获得高度一致性的人工判定结果。在两个人工判定数据集和六个参考数据集上进行了大量实验证明了该方法的有效性和鲁棒性。经同行评审后，所有代码将会发布。

    Jul, 2024

  • 利用去噪抽象意义表示进行语法错误纠正

    本文提出了一种基于 AMR 的 seq-to-seq 模型，并探索了降噪方法，以使 AMRs 更可靠，实验证明该模型可以用于语法纠错。

    Jul, 2023

  • 无调整的 GLEU

    本文描述了对 GLEU 度量标准的改进，解决了使用越来越多参考集合时出现的问题，并且不需要调整参数，建议使用改进后的指标。

    May, 2016

  • 重温语法错误修正的元评估

    本文提出了 SEEDA，这是一个用于语法错误修正的新数据集，包含了 12 个最先进的系统和两个不同焦点的人工纠错评估，通过在句子级别元评估中对齐粒度来改进相关性，并指出传统度量在评估具有多个编辑的流畅修正句子方面相对较差。

    Mar, 2024

  • 基于语义相似度评分的面向意义的自然语言生成测度评估动态、解释性清单

    本研究旨在支持对生成文本的质量评估，并针对属性更相关性的 NLG 评估指标进行比较评估，提出了一种 AMR-based CheckList 方法，用于意义相关的语言现象，设计了 GraCo 评估指标，使用 AMR 计算词汇凝聚图，表明其作为一种有趣的 NLG 评估指标值得未来的研究探讨。

    May, 2022