ACLApr, 2019

使用位置编码控制输出序列长度

PDF
TL;DR该研究提出了一种简单而有效的方法，将正弦位置编码扩展到神经编码器 - 解码器模型中，以保持长度限制，可生成任意长度的文本，并提高 ROUGE 分数。
neural encoder-decoder modelabstractive summarizationlength constraintsinusoidal positional encodingrouge scores
发现论文，激发创造
  • 神经编码器 - 解码器中的输出长度控制

    本文提出两种基于解码和两种基于学习的方法，用于控制神经编码器 - 解码器模型的输出序列长度，结果表明学习方法在摘要生成任务中具有控制长度而不降低摘要质量的能力。

    Sep, 2016

  • 通过摘要原型引导的长度可控抽象摘要

    本文提出了一种新的长度可控的抽象汇总模型，与以往仅根据编码器 - 解码器模型生成一篇总结不同，我们的模型在编码器 - 解码器模型中结合了单词级别的抽取模块，通过提取重要的词来控制长度，生成了一个同时具有信息和长度控制的汇总。

    Jan, 2020

  • 随机位置编码增强 Transformer 的长度泛化

    本研究发现，Transformers 在固定上下文长度的任务中表现出快速泛化的特性。但是，它们不能在任意长度序列上泛化，即使是像复制字符串这样的简单任务也不行。本文介绍了一种新的位置编码方案，可以解决长序列位置编码失效的问题，并通过大规模实验，证明该方案可提高分类精度。

    May, 2023

  • 使用连续动态模型为 Transformer 学习位置编码

    提出了一种新的位置信息编码方法，使用神经常微分方法对非循环模型（如 Transformer）进行编码，并证明在翻译和理解任务中，该编码方法与已有编码方法相比具有更好的性能。

    Mar, 2020

  • 抽象式摘要全球编码

    本研究提出了一种全局编码框架，用于控制源上下文的全局信息并降低了重复现象，经过对 LCSTS 和英文 Gigaword 的评估，该模型优于基线模型。

    May, 2018

  • Transformer 长度外推：以位置编码为视角的调查

    该研究论文对基于 Transformer 的预训练语言模型和长度外推问题进行了系统性的回顾，聚焦于可外推位置编码方法，旨在帮助读者深入理解已有方法并为未来研究提供启示。

    Dec, 2023

  • 可控长度的图像描述生成

    本文提出了一种基于长度级别嵌入的、具备控制图像描述语言能力的、非自回归图像描述模型，实验证明该模型在 MS COCO 数据集上不仅实现了 SOTA 水平，还能够生成长度可控、多样化的图像描述。

    Jul, 2020

  • 通过同步实现长序列高效编码

    本研究提出一种基于同步机制的层次编码方法，将长的输入序列分段处理并在 Transformer 层内利用自注意力机制对锚点嵌入进行同步，从而改善了不同类型长输入文本数据的全局信息交流。

    Mar, 2022

  • 精准长度控制摘要

    该论文提出了一种能够精确控制文本长度的文本生成框架，可以生成指定数量的词语或句子的摘要，且在维持或提高文本质量的同时，通过联合训练模型预测长度，实现生成最佳长度的摘要。作者对该框架在 CNNDM 数据集上进行了评估，结果表明其性能优于现有方法。

    May, 2023

  • 无位置编码的因果 Transformer 的长度概化

    通过对无位置编码（NoPE）的长度泛化属性进行研究，我们发现虽然 NoPE 可以处理比常用的明确位置编码更长的序列，但其上下文长度仍然有限。我们确定了 NoPE 泛化失败与注意力分布分散的联系，并提出了一种参数高效的调整方法，通过搜索注意力头的最佳温度超参数，极大地扩展了 NoPE 的上下文大小。长序列语言建模、合成通行证检索任务和真实世界的长上下文任务的实验证明 NoPE 能够达到与最先进的长度泛化算法竞争的性能水平。源代码可公开访问。

    Apr, 2024