非自回归句子摘要的字符级长度控制算法
该论文提出了一种能够精确控制文本长度的文本生成框架,可以生成指定数量的词语或句子的摘要,且在维持或提高文本质量的同时,通过联合训练模型预测长度,实现生成最佳长度的摘要。作者对该框架在 CNNDM 数据集上进行了评估,结果表明其性能优于现有方法。
May, 2023
本研究提出有效的长度控制模块 Length Attention (LenAtten),在固定长度自动摘要任务中,我们的模型在长度控制性能方面高出 CNN/Daily Mail 数据集中表现最好的长度可控自动摘要模型 732 倍,并且在 ROGUE 得分和泛化能力方面也有显著提高。
Jun, 2021
本文提出了一种新的长度可控的抽象汇总模型,与以往仅根据编码器 - 解码器模型生成一篇总结不同,我们的模型在编码器 - 解码器模型中结合了单词级别的抽取模块,通过提取重要的词来控制长度,生成了一个同时具有信息和长度控制的汇总。
Jan, 2020
本文提出了一种神经摘要模型,能够通过简单而有效的机制实现用户对文本长度、风格、感兴趣的实体等高级属性的控制,以生成符合用户需求的高质量摘要,并在 CNN-Dailymail 数据集上优于现有的自动化系统和人工评价。
Nov, 2017
该研究提出了一种无监督的自动句子摘要方法,通过语言建模和语义相似度指标来优化摘要质量,从而在 ROUGE 分数方面达到了新的最高水平,同时强调未来的评估应该按输出长度分组。
May, 2020
CTRLsum 是一种用于可控摘要的新型框架,它能够使用户通过文本输入关键词或描述性提示来控制生成摘要的多个方面,在不需要额外人工注释或预定义训练期间的控制方面的情况下,在三个领域的摘要数据集和五种控制方面中得到量化证明,并在 CNN/DailyMail 数据集上取得了最先进的结果。
Dec, 2020
一种基于孪生网络的无监督抽取式摘要模型,引入了可训练的双向预测目标,在选定的摘要和原始文档之间进行训练。与基于中心性排名的方法不同,我们的抽取式评分器可以进行端到端训练,无需位置假设。此外,我们通过近似 0-1 背包问题求解器引入了一个可微分的长度控制模块,用于端到端可控制长度的抽取。实验证明,相同的句子编码器下,我们的无监督方法在很大程度上优于基于中心性排名的基准方法。在长度控制能力方面,通过我们可训练的背包模块,性能始终优于强基准方法,而无需进行端到端训练。人工评估进一步证明,我们的方法在相关性和一致性方面优于基准方法。
Dec, 2023
本篇论文提出了一种基于强化学习的抽象模型,用于无人工摘要的句子摘要,同时还开发了一种多摘要机制来提高摘要质量。实验结果表明,该模型明显优于抽象和提取式模型,经常生成未包含在原始文本中的新单词。
Dec, 2022
该研究探讨了对话摘要长度的影响因素,分析了摘要生成模型输出与人类参考文本的长度差异,并提出了基于长度感知的摘要生成模型,对 DialogSum 和 SAMSum 数据集进行实验,取得了显著的性能提升。
Sep, 2022
本文通过对 18 个自动摘要或机器翻译的评估指标进行人工评估,发现 BLEURT 和 COMET 与人工评估相关性最高,最适合作为可控长度机器翻译的评价指标。
May, 2023