Dec, 2018

StoryGAN：用于故事可视化的序贯条件 GAN

PDF
TL;DR本研究提出了一种新的任务 —— 故事可视化，为每个句子生成一张图像，针对图像连续性与场景和角色的全局一致性的挑战，构建了基于顺序条件 GAN 框架的故事到图像序列生成模型 ——StoryGAN，并通过质量和一致性指标优于现有模型。
story visualizationimage sequence generationgancontext encoderimage quality
发现论文，激发创造
  • 通过语义一致性提升视觉故事的生成和评估

    研究了一种生成序列图像以可视化故事的任务，提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型，并提供了相应的评价指标和对这些指标的直观检验。

    May, 2021

  • 学习多模态语义对齐模型以进行故事可视化

    在 GAN 生成模型中学习文本和图像表示之间的语义对齐以缓解文本图像语义不匹配问题，进而生成连贯、高质量的多句故事可视化。

    Nov, 2022

  • 词级细粒度故事可视化

    本论文提出了一种新的句子表示方法来减轻不一致问题，并引入了融合特征的新的鉴别器和扩展的空间注意力来提高图像质量和故事连贯性，实验表明，与现有方法相比，该方法具有优越的性能。

    Aug, 2022

  • Make-A-Story: 视觉记忆条件下的连贯故事生成

    本文提出了一种基于自回归扩散模型和视觉记忆模块的方法，利用软注意力机制实现了参考解析和场景、角色的一致性维护，用于生成与故事一致、质量高的帧画面，并在多句子情节的数据集上进行了实验验证。

    Nov, 2022

  • 基于层次结构的 GAN 场景生成序列框架

    本文提出了一种基于生成对抗网络的场景生成框架，通过显式控制场景的背景和前景的生成器生成多样化的图像并更好的应对仿射变换和前景物体的遮挡等问题。

    Feb, 2019

  • 从字幕生成视频：创造您所说的话

    本文中，我们提出了一个新颖的基于标题的时序生成对抗网络（TGANs-C）来生成视频，该网络结合了数据的语义和时间上的一致性。我们通过定性和定量实验验证了我们的提议，并展示了在给定标题的情况下生成逼真视频的能力。

    Apr, 2018

  • 通过条件 GAN 实现多样化和自然化的图像描述

    该研究旨在通过使用基于条件生成对抗网络（CGAN）的新框架来提高图像字幕生成的自然性和多样性，其中一个生成器可以根据图像生成描述，并使用一个评估器来评估描述与视觉内容的匹配程度。

    Mar, 2017

  • 通过在线文本增强和上下文记忆进行故事可视化

    故事可视化是一项具有挑战性的文本到图像生成任务，不仅需要从文本描述中呈现视觉细节，还需要对跨多个句子的长期上下文进行编码。本文提出了一种新颖的记忆架构用于双向 Transformer，并采用在线文本增强生成多个伪描述作为训练过程中的辅助监督，以更好地适应推理中的语言变化，通过对 Pororo-SV 和 Flintstones-SV 两个流行的 SV 基准测试的广泛实验，该方法在各种评估指标上明显优于现有技术，并具有相似或更少的计算复杂性。

    Aug, 2023

  • 交互式图像编辑的序列注意力生成对抗网络

    提出了一种基于 SeqAttnGAN 模型的交互式图片编辑方法，该模型应用了神经状态跟踪器进行图像和文本描述的编码，并使用 GAN 框架生成与之前图像一致且符合描述的新版本图像，同时为了实现更好的区域特定细化引入了顺序注意机制。在新的任务基准上，实验表明所提出的 SeqAttnGAN 模型在所有评估度量上优于现有方法。

    Dec, 2018

  • 基于层次结构的强化学习在视觉连贯叙事生成中的应用

    我们提出了一种分层结构的强化学习方法，用于解决视觉叙事任务中生成连贯多句子故事的挑战，并在视觉叙事（VIST）数据集上评估了该模型的性能。

    May, 2018