更好的评估和更强的基线
该研究提出了一种新的句子简化任务 ——Split-and-Rephrase,在将复杂句子转换为意思相同的短句子方面有着潜在的价值。该任务可以作为自然语言处理的预处理步骤,可以帮助解析器、语义角色标注器和机器翻译系统提高性能,并对阅读障碍者有帮助。该研究提出了五种模型来应对这一任务。
Jul, 2017
使用大型语言模型,通过训练样本和模型参数的相对较小数量,显著改进了 Split and Rephrase 任务的性能,并证明了大语言模型在该任务中的潜力。
Dec, 2023
本文研究了将复杂句子简化为简单句子的文本简化任务,发现常用的基准数据集存在易被利用的语法线索,其自动生成过程中存在的固有偏差使其无法准确评估模型性能。通过收集众包数据,本文构建了更加多样化、接近人工写作的基准数据集,并提出了一套评估标准,初步证明了基于该基准数据集的人工评估更加精准和公正。
Sep, 2020
通过挖掘 Wikipedia 的编辑历史,我们提取了一个丰富的新数据集 WikiSplit,其中包含一百万个自然生成的句子重写,提供了比 Narayan 等人(2017)引入的 WebSplit 语料库更多的六十倍的不同分裂示例和九十倍的词汇量,将 WikiSplit 作为训练数据可以产生质量更好的模型,其预测结果在 WebSplit 基准测试中比之前的最佳结果高出 32 BLEU 点。
Aug, 2018
自动评估长句分割和重述任务的 CEScore 模型提供了用于评估简单性、语法性、意义保持性和整体质量的四个指标(Sscore、Gscore、Mscore 和 CEscore)并与人类评估强相关,表明 CEScore 作为评估 SR 模型整体质量的简单有效指标的潜力。
Dec, 2023
介绍了一个新的训练集 BiSECT 和针对 split and rephrase 任务的新模型。利用机器翻译从双语平行语料中提取长英语句子并与相应的较短、意思等效的英语句子配对。该模型针对输入句子中的特定区域进行分割和编辑,并利用训练集 BiSECT 在自动和人为评估中提高了先前 Split 和 Rephrase 模型的性能。
Sep, 2021
将复杂句子拆分为意思相同的多个简单句子的 Split and Rephrase 任务通过提升可读性和提高自然语言处理中下游任务的性能。本文提出了一种简单而强大的数据精炼方法,通过删除 WikiSplit 中复杂句子不涉及至少一个简单句子的实例并颠倒参考简单句子的顺序来创建 WikiSplit++,实验结果表明,使用 WikiSplit++ 进行训练比使用 WikiSplit 获得更好的性能,即使训练实例更少。特别是,我们的方法在拆分数和暇想度量中(即获得更多拆分和更高的包含关系比例)有显著提升。
Apr, 2024
提出了一种新的序列级训练算法,使自然语言处理应用程序使用的语言模型在生成文本时更加强大和高效。这种方法能够直接优化在测试期间使用的指标,并且在三个不同的任务中,我们的方法优于其他几种基准方法。同时,在其他基准方法使用波束搜索时,我们的方法也具有竞争力,而且速度快几倍。
Nov, 2015
通过端到端的无监督深度学习方法,可以有效地建立并评估理解连贯文本结构的模型,从而实现有用的文本表示方法,有利于句子语义相似性和重复检测等 NLP 任务的完成。
Nov, 2016