Jul, 2019

跨模态规则的信息化视觉叙事

PDF
TL;DR本研究提出了一种基于跨模态规则挖掘的视觉叙事方法，通过将 CNN 激活和 Word 指数相结合构建多模态交易，并使用关联规则挖掘算法挖掘跨模态规则，充分捕捉实体、属性、行为和事件等相关概念，将其应用于编码器 - 解码器框架中，得到更具可解释性和可扩展性的故事生成模型，在 VIST 数据集上得到了很好的效果。
visual storytellinginformative conceptscross-modal rulesencoder-decoder frameworkvist dataset
发现论文，激发创造
  • 基于常识知识的概念选择，实现多样化、信息丰富的视觉叙事

    本文提出了一种基于概念选择模块和常识知识图谱的图像序列可视化叙事模型，以提高生成的故事的多样性和信息量，实现了很好的效果。

    Feb, 2021

  • 具有组内语义的知识增强注意力网络用于视觉叙事

    提出了一种基于知识增强的注意力网络，采用分组语义模型，能够生成比现有方法更合理和流畅的多模态视觉叙事，并在客观和主观评估指标上显示出优越性能。

    Mar, 2022

  • 问题 - 答案计划的视觉叙事

    将图像序列转化为可解释的视觉前缀，结合预训练语言模型和规划，利用问题 - 答案对作为蓝图计划选择显著的视觉概念，并确定它们如何组织成故事，生成更连贯、有趣和自然的故事。

    Oct, 2023

  • 保持一致性：通过迭代多智能体通信从图像流中进行主题感知的故事叙述

    本研究提出了一种新的视觉叙述方法，引入话题描述任务来检测图像流的全局语义背景，并通过多代理通信框架将话题描述生成器与故事生成器合并学习，实验结果表明该方法在生成故事方面具有比现有方法更高的质量。

    Nov, 2019

  • TARN-VIST: 面向视觉叙事的主题感知强化网络

    通过使用主题感知的增强学习网络，我们提出了一种新的方法来生成更连贯和相关的视觉叙事故事。实验结果表明，我们的模型在多个评估指标上优于大多数竞争模型。

    Mar, 2024

  • 纯文本训练视觉叙事

    利用跨模态预训练的 CLIP 模型，结合纯文本数据训练的视觉条件故事生成器及不依赖训练的视觉条件规划器，提出了一种仅使用文本数据进行训练的视觉叙事方法，有效提高了视觉叙事的泛化能力。在 VIST 基准上进行的广泛实验以及表达多样性和人工评估的进一步评估结果，都突显了我们方法在信息丰富性和稳健性方面的优越性。

    Aug, 2023

  • 通过生成模型改进文本 - 视觉交叉检索：观察、想象和匹配

    本文提出一种新的跨模态检索方法，利用生成式模型学习多模态数据的全局和本地特征，从而在 MSCOCO 数据集上实现了最先进的跨模态检索结果。

    Nov, 2017

  • 学习多模态语义对齐模型以进行故事可视化

    在 GAN 生成模型中学习文本和图像表示之间的语义对齐以缓解文本图像语义不匹配问题，进而生成连贯、高质量的多句故事可视化。

    Nov, 2022

  • SCO-VIST: 基于社交互动常识知识的视觉叙事

    SCO-VIST 框架使用图表示形式，结合语义和基于发生的边权重，通过 Floyd-Warshall 算法生成视觉叙事。在多个指标上，该框架在视觉根植性、连贯性、多样性和人性上优于其他模型，经过自动和人工评估。

    Feb, 2024

  • 通过语义一致性提升视觉故事的生成和评估

    研究了一种生成序列图像以可视化故事的任务，提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型，并提供了相应的评价指标和对这些指标的直观检验。

    May, 2021