EMNLPAug, 2017

基于分层注意力机制的 RNN 相册概括与故事叙述

PDF
TL;DR本文提出了一种端到端的视觉叙事问题的解决方案，首先使用基于层次注意的循环神经网络对相册照片进行编码，然后选择代表性的照片，并为其撰写自然语言的相册故事。经自动化和人工评估表明，该模型在选择、生成和检索方面的性能均优于基线模型。
end-to-end visual storytellingphoto albumrepresentative photosnatural language generationrecurrent neural nets
发现论文，激发创造
  • 迭代故事感知字幕与大型语言模型相结合的相册讲故事

    通过应用大型语言模型和迭代式流水线算法，可以更准确和生动地生成关于相册故事的文字，而不失准确性和连贯性。

    May, 2023

  • 层次化递归神经网络用于视频摘要

    本篇论文提出了一种名为 H-RNN 的分层循环神经网络用于视频摘要，其可以更好地利用帧之间的长时间依赖性，并且在 Combined 和 VTW 两个数据集上表现优于现有技术。

    Apr, 2019

  • 相册叙事的分层照片场景编码器

    本文提出了一种新模型，该模型包含具有层次结构的照片场景编码器和再构造器，用于相册故事叙述的任务。该模型以端到端的方式训练，在公共视觉叙事（VIST）数据集上取得了优异的性能。

    Feb, 2019

  • 深度强化学习模型用于摘要生成

    提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型，通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要，与目前最先进模型相比，在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分，并且人工评估表明我们的模型产生了更高质量的摘要。

    May, 2017

  • 基于层次结构的强化学习在视觉连贯叙事生成中的应用

    我们提出了一种分层结构的强化学习方法，用于解决视觉叙事任务中生成连贯多句子故事的挑战，并在视觉叙事（VIST）数据集上评估了该模型的性能。

    May, 2018

  • 使用跳过式循环神经网络学习视觉情节线

    本文介绍了 Skipping Recurrent Neural Network 模型，并应用于分析、预测和总结图像库。实验结果表明，与其他候选方法相比，S-RNN 在学习长期相关性和恢复潜在故事线方面表现显著优越，并展示了故事线如何帮助机器更好地理解和总结照片流

    Apr, 2016

  • 使用序列到序列 RNN 及其扩展进行抽象文本摘要

    该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要，并在两个不同的语料库上展示其实现最先进的性能。同时，该研究还提出了几种解决文摘中的关键问题的新模型，比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外，研究还建立了一个多句子的文摘数据集，以便后续的新研究能建立性能基准。

    Feb, 2016

  • 情境化、展示和讲述：一种神经视觉讲故事的方法

    本文提出了基于神经网络的模型，通过图像序列生成短篇故事，该模型继承了 Vinyals 等人的图像描述模型，并引入了编码器 LSTM 来计算每个故事的上下文向量，用作多个独立解码器 LSTM 的第一个状态，每个解码器 LSTM 分别通过将图像嵌入作为第一个输入以生成相应图像序列的故事部分。我们在 Visual Storytelling Challenge 2018 的内部赛道上展示出了具有 METEOR 指标和人类评分的具有竞争力的结果。

    Jun, 2018

  • 使用分层循环神经网络进行视频段落字幕生成

    利用分层循环神经网络和时空注意力机制生成视频字幕，在 YouTube 和 TACoS 数据集上验证具有更高 BLEU 得分。

    Oct, 2015

  • 分层神经故事生成

    该研究探讨了故事生成：创作系统可以在一个主题上构建连贯流畅的文本段落，使用一个大规模的数据集，通过分层式故事生成模型，研究人员成功地实现了模型融合，引入了新的门控多尺度自注意机制，并在自动化和人工评估中实现了显著的改进。

    May, 2018