(心理 -) 语言学特征与 Transformer 模型相遇：改进可解释和可控的文本简化

EMNLPDec, 2022

(心理 -) 语言学特征与 Transformer 模型相遇：改进可解释和可控的文本简化

(Psycho-)Linguistic Features Meet Transformer Models for Improved Explainable and Controllable Text Simplification

Yu Qiao, Xiaofei Li, Daniel Wiechmann, Elma Kerz

TL;DR本研究旨在通过建立使用预训练语言模型的（心理）语言学特征的透明度较高的文本简化系统来提高可解释性和可控性，并利用提前设定的十种属性，拓展一种 Seq2Seq TS 模型，使其能够明确控制多个属性。实验证明我们的方法在解释复杂度预测方面表现优异，并且通过明确地将 Seq2Seq 模型的条件限制于十个属性，其性能在领域内外环境中均有显著提高。

Abstract

State-of-the-art text simplification (TS) systems adopt end-to-end neural network models to directly generate the simplified version of the input text, and usually function as a blackbox. Moreover, TS is usually treated as an all-purpose generic task under the assumption of homogeneity

text simplification neural network models explainable complexity prediction seq2seq ts model attribute control

发现论文，激发创造

可解释的文本复杂度预测：文本简化的缺失前提

本文提出了一种基于任务依赖的透明的文本简化流水线，第一步和第二步分别是文本是否需要简化的预测和复杂部分的识别，这两个任务可以通过词汇或深度学习方法分别解决，同时解决会提高最先进黑箱简化模型的外样本文本简化表现。

Jul, 2020

多语言可控变压器模型词汇简化

提出了一种基于 Transformer 的多语言可控词汇简化系统，使用语言特定的前缀、控制标记和候选词从预训练的掩蔽语言模型中提取较简单的替代词，该系统在三个公开的词汇简化数据集上优于之前的最先进模型，表现良好。针对最近的 TSAR-2022 多语言 LS 共享任务数据集也展现出很强的性能，且在西班牙语和葡萄牙语中获得性能提升。

Jul, 2023

通过标记实现文本简化

本论文介绍了一种基于序列标记的简单，高效的文本简化系统 (TST), 使用预训练的 Transformer-based 编码器，在现有系统的训练和推断中进行简单的数据增强和调整，使其不太依赖于大量的平行训练数据，提供了更多对输出的控制并实现了更快的推断速度，目前取得了基准测试数据集任务的几乎最新性能。

Mar, 2021

一种基于 LSTM 编码器 - 解码器模型的文本简化实验研究

本文通过使用 LSTM Encoder-Decoder 模型实现了句子级别的文本简化，该方法与传统的基于词法规则或手动定义规则的方法相比具有更好的效果。该模型可以学习具有一定规律的操作，如反转、排序和替换，因此可以被应用于修改句子结构、替换和删除单词等文本简化中。

Sep, 2016

可控的句子简化：应用句法和词汇约束

通过对句子语法和词汇约束的控制，本文提出了一种可以满足不同用户简化需求的 CROSS 句子简化模型，使用 Transformer-based 结构，在两个基准数据集上实验表明，语法和词汇约束对于成功的简化至关重要。

Oct, 2019

明确的复述控制文本简化

提出了一种新型的混合方法，它结合了基于语言学的分裂和删除规则以及神经语言转换模型来进行不同的简化操作，并通过引入新的数据增强方法来提高模型的语言转换能力。通过自动和手动评估，证明该模型在对比现有系统时，产生了更多的语言转换，并且可以控制所应用的每个简化操作的程度。

Oct, 2020

可控的句子简化

使用离散参数机制在序列到序列模型中为用户提供明确控制简化系统的方法，进而在简化基准测试中实现比标准模型更好的结果，并建立了 ACCESS 模型作为人群中心的句子简化的技术水平。

Oct, 2019

认知简化操作提高文本简化

本文中，我们呈现了一种将认知辅助领域的知识引入到文本简化模型中的方法，通过引入归纳偏差，决定何时使用简化操作。我们证明了通过将这种归纳偏差添加到文本简化模型中，它能够更好地适应认知简化而无需查看简化数据，并且在传统的文本简化基准测试上优于基线模型。此外，我们提供了一个新颖的认知简化测试数据集，并分析了认知简化语料库与现有文本简化语料库之间在应用简化操作方面的区别。

Nov, 2022

论文标题：论从复杂句子到关联命题的言语感知文本简化

在语义上意识到文本中的句子结构和上下文联系，通过将复杂句子进行拆分和重新表述，生成有语义层次的简化句子，以提高自然语言处理应用的预测质量。

Aug, 2023

英语的可控词汇简化

本文介绍了一种用 T5 微调的 ConLS 系统，该系统是一种可控的词汇简化系统，其评估结果表明，在 LexMTurk，BenchLS 和 NNSeval 等三个数据集上，我们的模型表现与 LSBert（目前的最新技术）相当甚至有时优于它，并且我们还对控制字符的有效性进行了详细比较以清晰地了解每个字符如何对模型做出贡献。

Feb, 2023