基于注意力机制 GRU 编码器 - 解码器的抽象文本摘要
该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要,并在两个不同的语料库上展示其实现最先进的性能。同时,该研究还提出了几种解决文摘中的关键问题的新模型,比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外,研究还建立了一个多句子的文摘数据集,以便后续的新研究能建立性能基准。
Feb, 2016
提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型,通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要,与目前最先进模型相比,在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分,并且人工评估表明我们的模型产生了更高质量的摘要。
May, 2017
本文探讨了在乌尔都语的抽象性摘要生成中,使用编码器 / 解码器方法。我们利用一种基于变压器的模型来编码输入文本并生成摘要,实验表明我们的模型可以生成语法正确、意义明确的摘要,并在公开数据集上取得了最先进的 ROUGE 得分结果。我们还对模型输出进行了定性分析,评估其有效性和局限性,发现编码器 / 解码器方法在乌尔都语的抽象性摘要生成中是一种有前途的方法,并且可以通过适当的修改扩展到其他语言。
May, 2023
该研究提出了一种新的解码器,通过条件调整文本和文档的潜在主题来生成摘要,使用 LDA 等主题模型揭示了更多的全局语义信息,使解码器能够访问文本语料库级别的词共现统计信息,实验表明,与现有模型相比,该方法能显著提高 ROUGE 分数。
Aug, 2019
本文介绍了一种基于自编码器的无配对抽象摘要生成方法,通过生成器和复原器对输入文本进行编码和解码,再通过鉴别器确保生成的文本与人类写作的句子相似,从而获得可读性强的人类摘要,无需文档摘要对作为训练数据。该方法在英文和中文语料库上取得了良好的表现。
Oct, 2018
本研究提出了一种选择性编码模型来扩展序列到序列框架,以实现抽象句子摘要。该模型通过句子编码器、选择门网络和配备注意力的解码器构成。我们在英语 Gigaword、DUC 2004 和 MSR 摘要句子摘要数据集上评估了我们的模型。实验结果表明,所提出的选择性编码模型优于现有的基线模型。
Apr, 2017
提出了一种基于序列到序列编码器 - 解码器模型并配备深层递归生成解码器的抽象文本摘要框架,通过利用循环潜在随机模型来学习目标摘要中隐含的潜在结构信息以提高摘要质量;同时应用神经变分推断来解决循环潜在变量的不可解后验推断问题,在生成潜在变量和判别性确定状态的基础上生成抽象摘要,实验结果表明,该方法优于现有最先进的方法。
Aug, 2017
本研究提出了一种名为 AVS 的新颖的基于注意力机制的编码器 - 解码器网络框架,该网络框架使用双向 LSTM 和注意力机制对原始视频帧进行编码和关键帧序列进行解码,实现对有监督视频摘要的问题的解决。经测试发现,该方法在 SumMe 和 TVSum 数据集上的表现明显优于现有方法,在两个数据集上分别从 0.8%到 3%都有了显著的提高。
Aug, 2017
本文提出了一种基于文档精华提取的文本摘要方法,并通过引入语言因素和改进神经网络如 LSTMs 和 Neural Semantic Encoders,利用自我强化学习模型进一步提高了文本摘要的质量,实现并超越了文本摘要领域的最佳性能,其中基于分层 NSE 模型的 ROUGE 值提升近 4 个百分点。
Oct, 2019
本研究旨在利用预先训练的卷积神经网络,结合注意力机制和循环神经网络,将图像特征与语言模型相结合,实现图像描述生成。实验结果与现有先进方法相比,具有竞争性的性能。
Mar, 2022