神经编码器 - 解码器中的输出长度控制
本文首次解决了神经机器翻译中输出长度的控制问题,并调查了两种解决方法,分别是将输出与目标输入长度比例类相关联和在 Transformer 位置嵌入中加入长度信息。实验结果表明,这两种方法都可以使网络生成更短的翻译,并获得解释性的语言技能。
Oct, 2019
本文提出了一种新的长度可控的抽象汇总模型,与以往仅根据编码器 - 解码器模型生成一篇总结不同,我们的模型在编码器 - 解码器模型中结合了单词级别的抽取模块,通过提取重要的词来控制长度,生成了一个同时具有信息和长度控制的汇总。
Jan, 2020
该论文提出了一种能够精确控制文本长度的文本生成框架,可以生成指定数量的词语或句子的摘要,且在维持或提高文本质量的同时,通过联合训练模型预测长度,实现生成最佳长度的摘要。作者对该框架在 CNNDM 数据集上进行了评估,结果表明其性能优于现有方法。
May, 2023
介绍了一种简单的、通用的策略,通过插值算法将 MLE-based 令牌生成策略的演员与能够估计所需属性的价值函数批判家结合来修改神经解码器的行为,从而生成具有特定属性(例如,预定长度的序列)的输出。该方法不仅能处理序列长度和后向概率等多种无法通过标准神经序列解码器处理的属性,而且在优化 BLEU 或 ROUGE 得分时能够持续改善概括性摘要和机器翻译。
Jan, 2017
本文提出了一种基于长度级别嵌入的、具备控制图像描述语言能力的、非自回归图像描述模型,实验证明该模型在 MS COCO 数据集上不仅实现了 SOTA 水平,还能够生成长度可控、多样化的图像描述。
Jul, 2020
本研究提出有效的长度控制模块 Length Attention (LenAtten),在固定长度自动摘要任务中,我们的模型在长度控制性能方面高出 CNN/Daily Mail 数据集中表现最好的长度可控自动摘要模型 732 倍,并且在 ROGUE 得分和泛化能力方面也有显著提高。
Jun, 2021
本文探讨了编码 - 解码神经网络在长序列预测上的局限性以及导致此现象的原因,并提出了一种全局条件模型,可以有效地缓解这种偏差并且无需 beam-search。
Jun, 2016
本研究提出了一种新的神经编码 - 解码模型,它将内容选择与表面实现分离,实现了对生成文本内容的控制。该模型在数据到文本和标题生成任务中获得了有希望的结果,为文本生成中的可控内容选择铺平了道路。
Sep, 2019