Jan, 2019

文本简化系统的无参考质量评估

PDF
TL;DR本文探讨了针对在无参考文本的情况下，对简化文本进行质量估计的多种方法，并基于 QATS 2016 的数据集对多个方法进行了比较，最终发现基于 n-gram 的机器翻译度量（如 BLEU 和 METEOR）最能与语法正确性和意义保留的人工评估相匹配，而基于长度的度量方法则最适合衡量简明易懂程度。
text simplificationquality estimationmonolingual taskgrammaticalitymeaning preservation
发现论文，激发创造
  • 文本简化系统是否保留含义？通过阅读理解的人工评估

    自动文本简化（TS）旨在自动化重写文本的过程，使人们更容易阅读。本研究引入了人类评估框架以评估简化文本是否保留了含义，并通过阅读理解问题对文本进行了深入的人类评估和九种自动系统评估。

    Dec, 2023

  • 质量估计之穷人版：在没有参考文本的情况下预测基于参考文本的机器翻译度量

    本文提出了一种基于预训练模型的机器翻译质量评估方法，通过度量预测模型评分来进行质量评估并为人工评估模型提供预训练；实验结果表明，该方法在无需参考标准情况下依然可以上可接受的精度，但也存在一定的局限性。

    Jan, 2023

  • 机器翻译质量评估中的文本相似度作为关键指标

    使用句子转换和余弦相似度来衡量语义上的相似度，本研究将 “文本相似性” 引入机器翻译（MT）质量估计（QE）作为一种新的度量标准。通过分析 MLQE-PE 数据集，我们发现文本相似性与人工评分的相关性比传统指标（hter、模型评估等）更强。应用 GAMMs 作为统计工具，我们证明了文本相似度在多种语言对中一致优于其他指标来预测人工评分。我们还发现 “hter” 在质量估计中无法准确预测人工评分。我们的发现突出了文本相似性作为一个强大的质量估计度量标准，建议将其与其他指标结合到 QE 框架和 MT 系统训练中，以提高准确性和可用性。

    Jun, 2024

  • BLEU 不适合于文本简化的评估

    本文表明，BLEU 评估指标并不适合评估句子分裂等结构方面的文本简化操作，并展示了 BLEU 评分与语法性和保留意义参数之间的低或无关性，并且，BLEU 评分通常与简洁性呈负相关，实质上惩罚了简单的句子。

    Oct, 2018

  • 简化水平评估（SLE）：用于句子简化的无参考学习简化指标

    自动评估句子简化仍然是一个具有挑战性的问题，我们提出了一种新的学习评估度量 (SLE)，该度量侧重于简化，与人类判断相关性方面表现优越。

    Oct, 2023

  • 机器翻译无参考同行评估评估

    通过使用大型多语言模型的概率作为参考度量标准，本文尝试了各种修改以推进无参考评估，并且分析了一些潜在的弱点，结果表明这种方法是出乎意料的稳健，可能在广泛领域和系统质量方面提供合理的性能。

    Apr, 2021

  • 一项以用户为中心的西班牙文正文简化评价

    我们通过两个以复杂句和复杂词为重点的语料库，对西班牙语文本简化（TS）在生产系统中进行评估。我们将最流行的西班牙语特定可读性评分与神经网络进行比较，并表明后者在预测用户对 TS 的偏好方面始终更好。作为分析的一部分，我们发现多语言模型在相同任务上表现不及相应的仅限西班牙语模型，然而所有模型都过于频繁地关注无关的统计特征，如句子长度。我们通过在评估中发布我们的语料库，希望推动西班牙语自然语言处理的最新技术发展。

    Aug, 2023

  • 评估文档简化：关于分开评估简易性和意义保留的重要性

    本文关注文档级文本简化的评估，并使用不同的指标对现有模型进行比较，其中包括针对简化和意义保持性的指标。通过引入一个无参考的度量变体来展示模型在简化和意义保持两个维度上往往倾向于一方，并且在未知数据上应用现有模型的性能也得到了研究。

    Apr, 2024

  • 重温循环翻译以进行质量评估

    本文介绍了一种利用语义嵌入进行往返翻译的质量估计技术，相较于以往的 WMT 2019 质量估计任务提交的方法，我们的方法与人类判断之间的相关性最高，且在往返翻译选择上表现鲁棒性较佳。此外，该方法能够针对 SMT 和 NMT 等多种类型的前向翻译模型进行一致的性能表现。

    Apr, 2020

  • 重新审视非英语文本简化：一个统一的多语言基准

    该研究介绍了 MultiSim 基准，这是一个包含 27 种语言的 12 种不同语言资源的集合，其中包含超过 170 万个复杂 - 简单句对，使用预训练的多语言语言模型进行的实验表明具有激动人心的性能提升，证实了跨语言的可行性。

    May, 2023