Oct, 2018

文本简化的语义结构评估

PDF
TL;DR本文提出了 SAMSA 方法，用于评估文本简化中的结构方面，该方法利用了语义解析的最新进展，通过基于其语义结构分解输入并将其与输出进行比较来评估简化质量。SAMSA 提供了无参考自动评估程序，避免了基于参考的方法在给定句子的有效简化空间时所面临的问题。我们的人类评估实验证明 SAMSA 与人类判断具有显著相关性，并且现有基于参考的措施在评估结构简化方面存在不足。
发现论文，激发创造
  • 利用语义和神经方法实现简单有效的文本简化

    本论文提出了一种基于自动语义分析器的简单有效的句子分割算法，并通过神经机器翻译进行进一步微调的简化操作，其中采用语义分析为基础的分割方式可以有效地解决以往机器翻译的过于保守的问题，经过广泛的自动化和人工评估，该方法在词汇和结构简化方面表现优异。

    Oct, 2018

  • 文本简化系统的无参考质量评估

    本文探讨了针对在无参考文本的情况下，对简化文本进行质量估计的多种方法，并基于 QATS 2016 的数据集对多个方法进行了比较，最终发现基于 n-gram 的机器翻译度量（如 BLEU 和 METEOR）最能与语法正确性和意义保留的人工评估相匹配，而基于长度的度量方法则最适合衡量简明易懂程度。

    Jan, 2019

  • 一项以用户为中心的西班牙文正文简化评价

    我们通过两个以复杂句和复杂词为重点的语料库，对西班牙语文本简化（TS）在生产系统中进行评估。我们将最流行的西班牙语特定可读性评分与神经网络进行比较，并表明后者在预测用户对 TS 的偏好方面始终更好。作为分析的一部分，我们发现多语言模型在相同任务上表现不及相应的仅限西班牙语模型，然而所有模型都过于频繁地关注无关的统计特征，如句子长度。我们通过在评估中发布我们的语料库，希望推动西班牙语自然语言处理的最新技术发展。

    Aug, 2023

  • 文本简化系统是否保留含义？通过阅读理解的人工评估

    自动文本简化（TS）旨在自动化重写文本的过程，使人们更容易阅读。本研究引入了人类评估框架以评估简化文本是否保留了含义，并通过阅读理解问题对文本进行了深入的人类评估和九种自动系统评估。

    Dec, 2023

  • 评估文档简化：关于分开评估简易性和意义保留的重要性

    本文关注文档级文本简化的评估，并使用不同的指标对现有模型进行比较，其中包括针对简化和意义保持性的指标。通过引入一个无参考的度量变体来展示模型在简化和意义保持两个维度上往往倾向于一方，并且在未知数据上应用现有模型的性能也得到了研究。

    Apr, 2024

  • 文档级文本简化：数据集，标准和基线

    本文提出并研究了一个新的文档级简化任务，旨在简化由多个句子组成的文档。作者构建了一个大规模的数据集 D-Wikipedia，并对其进行分析和人类评估，提出了一个新的自动评估指标 D-SARI 以更好的适应文档级简化任务，并选择了几个代表基准模型进行自动和人类评估并分析了结果，指出了基准模型的缺点。

    Oct, 2021

  • 成功与失败之间的舞蹈：使用 SALSA 进行编辑层次简化评估

    研究了基于大型语言模型的文本简化方法，提出了一种人工评估框架 SALSA，并使用该框架进行了细致的简化质量评估，发现 GPT-3.5 可以比人类更优秀的进行简化但仍存在错误；同时，提出了一种基于编辑注释的自动评估方法 LENS-SALSA，并报告了良好的初步结果。

    May, 2023

  • 针对生物医学文本自动处理的有效句子简化

    本文提出了一个名为 bioSimplify 的文本简化方法，试图减少医学文献中的句子复杂度，从而提高句法分析器的性能。经测试，在使用简化后的句子进行分析时，Charniak-McClosky 句法分析器的性能提高了 2.90%，Link Grammar 句法分析器的性能提高了 4.23%。

    Jan, 2010

  • 可控的句子简化

    使用离散参数机制在序列到序列模型中为用户提供明确控制简化系统的方法，进而在简化基准测试中实现比标准模型更好的结果，并建立了 ACCESS 模型作为人群中心的句子简化的技术水平。

    Oct, 2019

  • 基于分类和生成方法的阿拉伯语句子简化

    本文尝试构建一种现代标准阿拉伯语 (MSA) 句子级简化系统，使用两种方法进行简化：基于分类的方法和生成式方法 (mT5)，并使用 BERTScore 评估了它们的有效性。

    Apr, 2022