ACLJun, 2021

LenAtten: 文本摘要的有效长度控制器

PDF
TL;DR本研究提出有效的长度控制模块 Length Attention (LenAtten)，在固定长度自动摘要任务中，我们的模型在长度控制性能方面高出 CNN/Daily Mail 数据集中表现最好的长度可控自动摘要模型 732 倍，并且在 ROGUE 得分和泛化能力方面也有显著提高。
发现论文，激发创造
  • 通过摘要原型引导的长度可控抽象摘要

    本文提出了一种新的长度可控的抽象汇总模型，与以往仅根据编码器 - 解码器模型生成一篇总结不同，我们的模型在编码器 - 解码器模型中结合了单词级别的抽取模块，通过提取重要的词来控制长度，生成了一个同时具有信息和长度控制的汇总。

    Jan, 2020

  • 精准长度控制摘要

    该论文提出了一种能够精确控制文本长度的文本生成框架，可以生成指定数量的词语或句子的摘要，且在维持或提高文本质量的同时，通过联合训练模型预测长度，实现生成最佳长度的摘要。作者对该框架在 CNNDM 数据集上进行了评估，结果表明其性能优于现有方法。

    May, 2023

  • 非自回归句子摘要的字符级长度控制算法

    本文提出一种基于 CTC 模型的动态规划算法，用于实现汉字级别的摘要长度控制，在提高 ROUGE 分数的同时保证摘要完整。

    May, 2022

  • 可控抽象摘要

    本文提出了一种神经摘要模型，能够通过简单而有效的机制实现用户对文本长度、风格、感兴趣的实体等高级属性的控制，以生成符合用户需求的高质量摘要，并在 CNN-Dailymail 数据集上优于现有的自动化系统和人工评价。

    Nov, 2017

  • 评估可控长度机器翻译的功效

    本文通过对 18 个自动摘要或机器翻译的评估指标进行人工评估，发现 BLEURT 和 COMET 与人工评估相关性最高，最适合作为可控长度机器翻译的评价指标。

    May, 2023

  • CTRLsum: 通用可控文本摘要

    CTRLsum 是一种用于可控摘要的新型框架，它能够使用户通过文本输入关键词或描述性提示来控制生成摘要的多个方面，在不需要额外人工注释或预定义训练期间的控制方面的情况下，在三个领域的摘要数据集和五种控制方面中得到量化证明，并在 CNN/DailyMail 数据集上取得了最先进的结果。

    Dec, 2020

  • 通过注意力值压缩输入长度和生成文本

    本文研究了 BERT 的注意力机制，探究了两个问题：如何使用注意力机制减少输入长度和如何将注意力用作条件文本生成的控制机制，并发现 BERT 的早期层对文本分类任务的关注度更高，其注意力和可以用于过滤给定序列的令牌，一定程度上减少了输入长度同时保持良好的测试准确性。

    Mar, 2023

  • 基于提示的长度受控生成与多种控制类型

    通过采用强化学习和通过基于规则的奖励模型给出的奖励信号进行样本过滤的方式，我们提出了一种基于提示的方法，以不同的控制类型实现控制长度的生成，并在流行的摘要数据集上显著提高了准确率。

    Jun, 2024

  • 对话摘要中序列长度的重点研究

    该研究探讨了对话摘要长度的影响因素，分析了摘要生成模型输出与人类参考文本的长度差异，并提出了基于长度感知的摘要生成模型，对 DialogSum 和 SAMSum 数据集进行实验，取得了显著的性能提升。

    Sep, 2022

  • 可学习的长度控制策略的无监督抽取式摘要

    一种基于孪生网络的无监督抽取式摘要模型，引入了可训练的双向预测目标，在选定的摘要和原始文档之间进行训练。与基于中心性排名的方法不同，我们的抽取式评分器可以进行端到端训练，无需位置假设。此外，我们通过近似 0-1 背包问题求解器引入了一个可微分的长度控制模块，用于端到端可控制长度的抽取。实验证明，相同的句子编码器下，我们的无监督方法在很大程度上优于基于中心性排名的基准方法。在长度控制能力方面，通过我们可训练的背包模块，性能始终优于强基准方法，而无需进行端到端训练。人工评估进一步证明，我们的方法在相关性和一致性方面优于基准方法。

    Dec, 2023