本文提出了一种基于序列到序列的句子简化模型,通过多任务学习及时改进其包含性和释义能力。文章还介绍了一种新的多层软共享方法,以及一种动态学习的多臂赌博机训练方法,实验结果表明我们的模型在语义相关任务上的表现优于竞争模型。
Jun, 2018
本文提出了利用元学习框架解决弱监督下的释义生成任务,并通过检索式的伪释义扩展获取大量弱标注平行句子,进而选择有价值的样本对预训练语言模型 BART 进行微调,从而生成高质量释义的方法,与目前的无监督学习方法相比具有显著的改进。
Sep, 2021
基于预训练语言模型的词汇简化方法取得了显著进展,通过分析词语在其上下文环境中的替代词生成复杂词的潜在替代词。然而,这些方法需要针对不同语言进行单独的预训练模型,并且忽略了对句子意义的保留。本文提出了一种新颖的多语言词汇简化方法,通过生成释义来提供词语选择的多样性,同时保持句子的意义。我们将释义任务视为支持数百种语言的多语言神经机器翻译中的零 - shot 翻译任务。在释义建模的编码器中输入句子后,我们基于一种集中于复杂词的词汇变体的新颖解码策略生成替代词。实验结果表明,我们的方法在英语、西班牙语和葡萄牙语上明显优于基于 BERT 的方法和零 - shot GPT3 方法。
Jul, 2023
MUSS 是一种无监督句子简化系统,可以通过句子级复述数据训练模型,而不需要标记简化数据。该系统还可以从 Common Crawl 中使用语义句子嵌入挖掘语言无关的复述数据,并在英语,法语和西班牙语简化基准测试中进行评估,获得与有监督方法最佳结果相当的性能。
May, 2020
本文使用零 / 少量数据训练的大型语言模型在众多基准测试集上进行了实验分析,结果表明 LLMs 优于最先进的句子简化方法,并被评为与人类标注者一致。
Feb, 2023
该研究提出了一种两阶段的语义解析框架,第一阶段利用无监督的语义模型将未标记的自然语言转化为规范化语句,第二阶段使用自然语言解析器解析输出结果得到目标逻辑形式,该训练过程被分成了预训练和循环学习两个阶段,通过三项定制的自监督任务激活无监督的语义模型,实验结果表明该框架是有效的且与监督式训练相兼容。
使用大型语言模型,通过训练样本和模型参数的相对较小数量,显著改进了 Split and Rephrase 任务的性能,并证明了大语言模型在该任务中的潜力。
Dec, 2023
提出了一种新型的混合方法,它结合了基于语言学的分裂和删除规则以及神经语言转换模型来进行不同的简化操作,并通过引入新的数据增强方法来提高模型的语言转换能力。通过自动和手动评估,证明该模型在对比现有系统时,产生了更多的语言转换,并且可以控制所应用的每个简化操作的程度。
Oct, 2020
本研究提出了一种基于多层和多头注意力架构的新颖模型,并提出了两种集成 Simple PPDB 的创新方法,实现对句子的简化。该研究表明,集成 Simple PPDB 的模型在句子简化中的表现优于现有基准模型,并能够准确定位并选择更精确的简化规则。
Oct, 2018
这篇论文介绍了 ASSET 数据集,用于评估句子简化,并展示它相对于其他标准评估数据集的优越性,同时指出现有评估模型可能不够适合使用多重简化转换。