EMNLPAug, 2019

EASSE：更简便的自动句子简化评估

PDF
TL;DR介绍了一个名为 EASSE 的 Python 包，旨在促进和标准化句子简化（SS）系统的自动评估和比较，为评估资源提供单一访问点：包括标准自动指标、某些简化转换的单词级准确性得分、无参考质量估算特征和标准的 SS 评估测试数据。通过实验，发现这些功能允许更好地比较和理解 SS 系统的性能。
sentence simplificationpython packageevaluationautomatic metricsstandard test data
发现论文，激发创造
  • EASSE-DE：德文自动句子简化评估的更简易方法

    提出了 EASSE-multi 框架，用于多种语言的更轻松的自动句子评估；以德语 TS 为例，比较了不同语言和分词设置下的文本简化结果，给出了提高 (德语) TS 模型评估透明度和可比性的建议。

    Apr, 2024

  • ASSET: 多重改写转换的句子简化模型调整与评估数据集

    这篇论文介绍了 ASSET 数据集，用于评估句子简化，并展示它相对于其他标准评估数据集的优越性，同时指出现有评估模型可能不够适合使用多重简化转换。

    May, 2020

  • 文本简化的语义结构评估

    本文提出了 SAMSA 方法，用于评估文本简化中的结构方面，该方法利用了语义解析的最新进展，通过基于其语义结构分解输入并将其与输出进行比较来评估简化质量。SAMSA 提供了无参考自动评估程序，避免了基于参考的方法在给定句子的有效简化空间时所面临的问题。我们的人类评估实验证明 SAMSA 与人类判断具有显著相关性，并且现有基于参考的措施在评估结构简化方面存在不足。

    Oct, 2018

  • 可控的句子简化

    使用离散参数机制在序列到序列模型中为用户提供明确控制简化系统的方法，进而在简化基准测试中实现比标准模型更好的结果，并建立了 ACCESS 模型作为人群中心的句子简化的技术水平。

    Oct, 2019

  • EASE: 实体感知的对比学习句子嵌入

    EASE 是一种基于对句子及其相关实体进行对比学习的句子嵌入方法，其利用实体语义作为丰富的训练信号，并提供了跨语言对齐的监督。在单语和多语境下，EASE 表现出竞争力或更好的性能，并在多项任务中明显优于基线方法。

    May, 2022

  • 简化水平评估（SLE）：用于句子简化的无参考学习简化指标

    自动评估句子简化仍然是一个具有挑战性的问题，我们提出了一种新的学习评估度量 (SLE)，该度量侧重于简化，与人类判断相关性方面表现优越。

    Oct, 2023

  • EASE: 一种由效率增强机制驱动的易定制的注释系统

    提供一款可定制的注释系统 ——EASE，使用多任务主动学习、基于人口统计特征的主动学习和查询大型语言模型的提示系统作为多个后端选项，可以满足自然语言处理研究人员的多样化需求，并显著加速注释过程。

    May, 2023

  • Med-EASi：医疗文本可控简化的精细标注数据集及模型

    本文提出了 Med-EASi，一种众包且带有精细标注的数据集，以用于简化短文本的监督学习。采用四种不同样式的输入输出组合对 T5-large 进行微调，实现了两种无控制版本和两种可控版本的模型，控制方式通过标注四种文本转换类型以达到最优文本简化。模型结果表明，微调效果较好，且使用位置 - 感知可生成更好的简化结果。

    Feb, 2023

  • SASS：面向主题感知的句子简化数据和方法

    本文提供了一个数据集，旨在训练旨在执行主题感知句子简化而不是整体简化的模型，测试使用摘要归纳中使用的模型架构。结果显示，数据增强，数据遮蔽和摘要中使用的模型架构对主题感知简化提供了可靠的基线比较。

    Mar, 2023

  • MUSS: 通过挖掘释义实现多语言无监督句子简化

    MUSS 是一种无监督句子简化系统，可以通过句子级复述数据训练模型，而不需要标记简化数据。该系统还可以从 Common Crawl 中使用语义句子嵌入挖掘语言无关的复述数据，并在英语，法语和西班牙语简化基准测试中进行评估，获得与有监督方法最佳结果相当的性能。

    May, 2020