ACLMay, 2018

利用句间多样性束搜索减少视觉叙事中的冗余

PDF
TL;DR本篇研究提出了一种新的基于神经网络的视觉故事生成算法，使用基于序列的图像生成结果来避免文本中出现重复的描述同时提高表达能力。
visual storytellingimage to text neural network modelsinter-sentence diverse beam searchexpressive storyprevious picture
发现论文，激发创造
  • 词级细粒度故事可视化

    本论文提出了一种新的句子表示方法来减轻不一致问题，并引入了融合特征的新的鉴别器和扩展的空间注意力来提高图像质量和故事连贯性，实验表明，与现有方法相比，该方法具有优越的性能。

    Aug, 2022

  • 基于层次结构的强化学习在视觉连贯叙事生成中的应用

    我们提出了一种分层结构的强化学习方法，用于解决视觉叙事任务中生成连贯多句子故事的挑战，并在视觉叙事（VIST）数据集上评估了该模型的性能。

    May, 2018

  • 通过语义一致性提升视觉故事的生成和评估

    研究了一种生成序列图像以可视化故事的任务，提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型，并提供了相应的评价指标和对这些指标的直观检验。

    May, 2021

  • 保持一致性：通过迭代多智能体通信从图像流中进行主题感知的故事叙述

    本研究提出了一种新的视觉叙述方法，引入话题描述任务来检测图像流的全局语义背景，并通过多代理通信框架将话题描述生成器与故事生成器合并学习，实验结果表明该方法在生成故事方面具有比现有方法更高的质量。

    Nov, 2019

  • 学习多模态语义对齐模型以进行故事可视化

    在 GAN 生成模型中学习文本和图像表示之间的语义对齐以缓解文本图像语义不匹配问题，进而生成连贯、高质量的多句故事可视化。

    Nov, 2022

  • 问题 - 答案计划的视觉叙事

    将图像序列转化为可解释的视觉前缀，结合预训练语言模型和规划，利用问题 - 答案对作为蓝图计划选择显著的视觉概念，并确定它们如何组织成故事，生成更连贯、有趣和自然的故事。

    Oct, 2023

  • 用于字到句的视觉语义相似度在标题生成的应用：得到的经验教训

    本文提出一种改进图像 - 字幕生成系统的方法，通过从视觉上下文的角度修订语言生成输出的 beam search，采取视觉语义量化概念，在单词和句子级别上匹配与图像相关的信息来选择最相关的输出作为字幕。该方法可作为后处理方法应用于任何字幕系统中。

    Sep, 2022

  • 神经序列模型的多样性束搜索：解码多样性解决方案

    提出一种名为 Diverse Beam Search (DBS) 的算法，以优化多样性目标解码出一系列多样化的输出，旨在解决 Beam Search 算法在复杂人工智能任务解码过程中无法准确捕捉复杂任务本质的问题，并在图像字幕生成、机器翻译和视觉问答生成等任务中取得更好的性能表现。

    Oct, 2016

  • 将视觉空间、语言和常识结构融合于故事可视化

    本文讨论如何更好地将文本转化为对应的图像序列，包括利用 Transformers、constituency parse trees、commonsense 信息以及 visuo-spatial 信息，最终提高了生成图像的质量和一致性。

    Oct, 2021

  • 通过预测故事中的锚定词嵌入进行视觉叙事

    提出了一种用于视觉故事叙述任务的学习模型，其主要思想是从图片中预测锚定词嵌入，并联合使用嵌入和图片特征生成叙述句，方法设计简单，易优化，在大多数自动评估指标中取得最佳结果，在人员评估中也优于竞争方法。

    Jan, 2020