文本简化系统是否保留含义?通过阅读理解的人工评估
我们通过两个以复杂句和复杂词为重点的语料库,对西班牙语文本简化(TS)在生产系统中进行评估。我们将最流行的西班牙语特定可读性评分与神经网络进行比较,并表明后者在预测用户对 TS 的偏好方面始终更好。作为分析的一部分,我们发现多语言模型在相同任务上表现不及相应的仅限西班牙语模型,然而所有模型都过于频繁地关注无关的统计特征,如句子长度。我们通过在评估中发布我们的语料库,希望推动西班牙语自然语言处理的最新技术发展。
Aug, 2023
本文探讨了针对在无参考文本的情况下,对简化文本进行质量估计的多种方法,并基于 QATS 2016 的数据集对多个方法进行了比较,最终发现基于 n-gram 的机器翻译度量(如 BLEU 和 METEOR)最能与语法正确性和意义保留的人工评估相匹配,而基于长度的度量方法则最适合衡量简明易懂程度。
Jan, 2019
本文中,我们呈现了一种将认知辅助领域的知识引入到文本简化模型中的方法,通过引入归纳偏差,决定何时使用简化操作。我们证明了通过将这种归纳偏差添加到文本简化模型中,它能够更好地适应认知简化而无需查看简化数据,并且在传统的文本简化基准测试上优于基线模型。此外,我们提供了一个新颖的认知简化测试数据集,并分析了认知简化语料库与现有文本简化语料库之间在应用简化操作方面的区别。
Nov, 2022
文本简化是增加文本可理解性的过程。我们通过一个评估研究,使用智力残疾人和普通参与者阅读自动和手动简化的德语文本来探索衡量可理解性的四种不同方法,并发现这些方法在不同读者群体和文本是否经历自动或手动简化时会有显著差异。对于智力残疾人这个目标群体,理解问题是最可靠的衡量手段,而分析阅读速度则为了解参与者的阅读行为提供了有价值的见解。
Feb, 2024
本研究探讨并验证了通过文本简化改善阅读理解相关任务的可行性,创建了被简化过的 SQuAD 数据集 (Simple-SQuAD),并实验表明文本简化对于基于 SQuAD 的问答任务,确实可以提高 2.04% 的精确匹配率和 1.74% 的 F1 值。
Sep, 2021
本研究旨在通过建立使用预训练语言模型的(心理)语言学特征的透明度较高的文本简化系统来提高可解释性和可控性,并利用提前设定的十种属性,拓展一种 Seq2Seq TS 模型,使其能够明确控制多个属性。实验证明我们的方法在解释复杂度预测方面表现优异,并且通过明确地将 Seq2Seq 模型的条件限制于十个属性,其性能在领域内外环境中均有显著提高。
Dec, 2022
本文关注文档级文本简化的评估,并使用不同的指标对现有模型进行比较,其中包括针对简化和意义保持性的指标。通过引入一个无参考的度量变体来展示模型在简化和意义保持两个维度上往往倾向于一方,并且在未知数据上应用现有模型的性能也得到了研究。
Apr, 2024
本文提出了 SAMSA 方法,用于评估文本简化中的结构方面,该方法利用了语义解析的最新进展,通过基于其语义结构分解输入并将其与输出进行比较来评估简化质量。SAMSA 提供了无参考自动评估程序,避免了基于参考的方法在给定句子的有效简化空间时所面临的问题。我们的人类评估实验证明 SAMSA 与人类判断具有显著相关性,并且现有基于参考的措施在评估结构简化方面存在不足。
Oct, 2018
在语义上意识到文本中的句子结构和上下文联系,通过将复杂句子进行拆分和重新表述,生成有语义层次的简化句子,以提高自然语言处理应用的预测质量。
Aug, 2023
本文介绍了一种针对法律文本的无监督简化方法(USLT),该方法通过检测复杂词汇并利用掩码变换模型生成候选词,选取候选词进行替换,并在保留语义的同时将长句递归地分解为较短的核心句和上下文句,从而优于最先进的通用领域文本简化方法。
Sep, 2022