ICCVAug, 2023

通过在线文本增强和上下文记忆进行故事可视化

PDF
TL;DR故事可视化是一项具有挑战性的文本到图像生成任务，不仅需要从文本描述中呈现视觉细节，还需要对跨多个句子的长期上下文进行编码。本文提出了一种新颖的记忆架构用于双向 Transformer，并采用在线文本增强生成多个伪描述作为训练过程中的辅助监督，以更好地适应推理中的语言变化，通过对 Pororo-SV 和 Flintstones-SV 两个流行的 SV 基准测试的广泛实验，该方法在各种评估指标上明显优于现有技术，并具有相似或更少的计算复杂性。
story visualizationtext-to-image generationcontext encodingmemory architectureonline text augmentation
发现论文，激发创造
  • 带有角色引导和标题增强的遮蔽生成故事变换器

    Story Visualization 任务的挑战在于生成图像序列中的视觉质量和帧间的一致性。我们采用并行的基于 transformer 的方法，通过过去和未来的描述与图像进行交叉注意力来实现一致性，并结合文本条件和字符条件的逻辑回归来隐式生成角色，进而提出了一种角色指导技术。同时我们使用大型语言模型进行标题增强，得到了优于以往方法的最先进结果，验证了我们的定量结果的有效性。

    Mar, 2024

  • 自适应上下文建模提升视觉故事生成

    提出了一种在编码器和采样阶段均采用自适应上下文建模的方法来改进文本到图像生成模型，实现了对视觉化故事生成的全局一致性的提升，取得了 PororoSV 和 FlintstonesSV 数据集上最佳 FID 分数和生成语义一致故事图像的优异性能。

    May, 2023

  • StoryGAN：用于故事可视化的序贯条件 GAN

    本研究提出了一种新的任务 —— 故事可视化，为每个句子生成一张图像，针对图像连续性与场景和角色的全局一致性的挑战，构建了基于顺序条件 GAN 框架的故事到图像序列生成模型 ——StoryGAN，并通过质量和一致性指标优于现有模型。

    Dec, 2018

  • Make-A-Story: 视觉记忆条件下的连贯故事生成

    本文提出了一种基于自回归扩散模型和视觉记忆模块的方法，利用软注意力机制实现了参考解析和场景、角色的一致性维护，用于生成与故事一致、质量高的帧画面，并在多句子情节的数据集上进行了实验验证。

    Nov, 2022

  • 情境化、展示和讲述：一种神经视觉讲故事的方法

    本文提出了基于神经网络的模型，通过图像序列生成短篇故事，该模型继承了 Vinyals 等人的图像描述模型，并引入了编码器 LSTM 来计算每个故事的上下文向量，用作多个独立解码器 LSTM 的第一个状态，每个解码器 LSTM 分别通过将图像嵌入作为第一个输入以生成相应图像序列的故事部分。我们在 Visual Storytelling Challenge 2018 的内部赛道上展示出了具有 METEOR 指标和人类评分的具有竞争力的结果。

    Jun, 2018

  • 基于视觉 Transformer 的图像描述故事模型

    该研究提出了一种基于 Vision Transformer 的模型来描述图像集，借助双向 LSTM 和注意力机制来捕捉图像的上下文信息和语义关系，模型在 Visual Story-Telling 数据集上的表现明显超过了目前的最先进模型。

    Oct, 2022

  • 通过语义一致性提升视觉故事的生成和评估

    研究了一种生成序列图像以可视化故事的任务，提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型，并提供了相应的评价指标和对这些指标的直观检验。

    May, 2021

  • 让图表生辉：使用文本 - 图像生成模型将语义上下文嵌入图表

    ChartSpark 是一个新型系统，它基于文本到图像生成模型将语义内容嵌入图表中，以此生成有关文本输入和嵌入式数据信息的图片可视化图表，并设计了一个交互式可视化界面，它包括文本分析器、编辑模块和评估模块，用户可以使用该界面生成、修改和评估图片可视化图表。

    Apr, 2023

  • 视觉语义提高了场景文本识别中的文本推理水平

    该研究提出了一种基于图卷积网络的文本推理（GTR）方法并将其应用于场景文本识别中，该方法可以利用像素之间的空间关联来提高文本识别的性能，并在六个具有挑战性的基准测试中获得最新的最佳结果。

    Dec, 2021

  • 通过视觉计划和令牌对齐实现基于人物的故事可视化

    本文提出了一种基于 VQ-VAE 和文本 - 视觉 - token 技术的故事可视化方法，通过引入角色预测模型和视觉 token 补全模型，实现了角色的有效重现和高质量图像序列的生成。

    Oct, 2022