EMNLPOct, 2023

简化水平评估（SLE）：用于句子简化的无参考学习简化指标

PDF
TL;DR自动评估句子简化仍然是一个具有挑战性的问题，我们提出了一种新的学习评估度量 (SLE)，该度量侧重于简化，与人类判断相关性方面表现优越。
automatic evaluationsentence simplificationreferencesperformancelearned evaluation metric
发现论文，激发创造
  • 文本简化系统的无参考质量评估

    本文探讨了针对在无参考文本的情况下，对简化文本进行质量估计的多种方法，并基于 QATS 2016 的数据集对多个方法进行了比较，最终发现基于 n-gram 的机器翻译度量（如 BLEU 和 METEOR）最能与语法正确性和意义保留的人工评估相匹配，而基于长度的度量方法则最适合衡量简明易懂程度。

    Jan, 2019

  • LENS: 可学习的文本简化评估度量

    该论文介绍了使用 SIMPEVAL 语料库来训练可学习度量，并基于此提出了针对文本简化的可学习评估度量 LENS，结果显示与现有度量相比 LENS 更符合人类评价标准，同时提供了人类评估框架及评估工具包。

    Dec, 2022

  • 句子级流畅度评估：参考文献有帮助，但可以节省！

    本文提出了基于正态化的语言模型得分的句子级无参考流畅度评估度量 SLOR，并介绍了一种更紧凑的语言模型 WPSLOR。本研究还引入了基于参考的度量 ROUGE-LM，该度量在可用参考下获得了更高的相关性。

    Sep, 2018

  • REFeREE: 一种基于模型的无参考文本简化度量方法

    简化文本缺乏统一的质量标准和注解参考文本的稀缺和成本高昂。我们提出通过引入无参考基于模型的度量 REFeREE 和一个三阶段的课程来缓解这些限制。我们的实验证明我们的度量模型在预测整体打分方面优于现有的基于参考的度量模型，并且在预测特定打分方面表现出竞争力和一致性，而推理时不需要参考简化文本。

    Mar, 2024

  • 评估文档简化：关于分开评估简易性和意义保留的重要性

    本文关注文档级文本简化的评估，并使用不同的指标对现有模型进行比较，其中包括针对简化和意义保持性的指标。通过引入一个无参考的度量变体来展示模型在简化和意义保持两个维度上往往倾向于一方，并且在未知数据上应用现有模型的性能也得到了研究。

    Apr, 2024

  • 迭代编辑型无监督句子简化

    我们提出了一种新的迭代式基于编辑的无监督句子简化方法，其模型通过包括流畅性、简洁性和意义保持在内的评分函数进行指导，并在复杂句子上迭代执行单词和短语级别的编辑。与之前的方法相比，我们的模型不需要并行的训练集，但更可控和可解释。对 Newsela 和 WikiLarge 数据集的实验表明，我们的方法几乎与最先进的监督方法一样有效。

    Jun, 2020

  • CEScore：用于评估分割和改写的简单高效置信度估计模型

    自动评估长句分割和重述任务的 CEScore 模型提供了用于评估简单性、语法性、意义保持性和整体质量的四个指标（Sscore、Gscore、Mscore 和 CEscore）并与人类评估强相关，表明 CEScore 作为评估 SR 模型整体质量的简单有效指标的潜力。

    Dec, 2023

  • 文档级文本简化：数据集，标准和基线

    本文提出并研究了一个新的文档级简化任务，旨在简化由多个句子组成的文档。作者构建了一个大规模的数据集 D-Wikipedia，并对其进行分析和人类评估，提出了一个新的自动评估指标 D-SARI 以更好的适应文档级简化任务，并选择了几个代表基准模型进行自动和人类评估并分析了结果，指出了基准模型的缺点。

    Oct, 2021

  • APPLS: 普通语言摘要元评估测试平台

    研究了 Plain Language Summarization 领域的模型评价问题，提出了一个可以评估现有评价标准的 APPLS 测试平台，并介绍了一个新的度量标准 POMME 用于评估文本简化效果。该研究对 Plain Language Summarization 进行了全面评估，同时对其他文本生成任务也有参考价值。

    May, 2023

  • 对开放领域对话系统进行可配置评估指标的解构与重构

    我们提出了一种灵活的度量方法，并通过组合可管理的质量、将质量分成三组，并将每个方面的指标合成为一个指标，得到了名为 USL-H 的度量方法，证明了 USL-H score 与人工评价具有良好的相关性和可配置性。

    Nov, 2020