Feb, 2022

ViNTER: 带有情感弧线感知机制的图像叙事生成

PDF
TL;DR本报告提出了一种名为 ViNTER（Visual Narrative Transformer with Emotion arc Representation）的图像叙事生成方法，其以 “情感轨迹” 作为输入来捕捉感情变化的序列，并在图像叙事数据集上进行了自动化和手动评估的实验结果，证明了这种方法的有效性。
发现论文，激发创造
  • 基于情感和关键词的视觉故事生成

    自动视觉化故事生成包含了自然对话生成和图像生成两个部分，其中，系统通过用户指定的关键词和情绪标签生成下一个句子，再用扩散模型生成相应的图像。此外，通过对象识别技术，生成的图像中的物品可被用于未来的故事发展。

    Jan, 2023

  • 基于视觉 Transformer 的图像描述故事模型

    该研究提出了一种基于 Vision Transformer 的模型来描述图像集，借助双向 LSTM 和注意力机制来捕捉图像的上下文信息和语义关系，模型在 Visual Story-Telling 数据集上的表现明显超过了目前的最先进模型。

    Oct, 2022

  • 通过语义一致性提升视觉故事的生成和评估

    研究了一种生成序列图像以可视化故事的任务，提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型，并提供了相应的评价指标和对这些指标的直观检验。

    May, 2021

  • 通过交互式视觉问题生成和回答定制图像叙述生成

    本文提出了定制化的图像叙事生成任务，通过用户交互式参与生成过程，并尝试通过反复交互阶段来学习用户的兴趣，从而自动生成更广泛主题的多样化描述，同时可针对交互目标进行定制化。

    Apr, 2018

  • 基于角色模型的故事生成：我讲故事的方式

    本研究探讨了基于神经生成的不同人格特征的视觉故事生成，通过在编码器和解码器表示中添加人格来引导生成，提出了五种模型，并使用五种不同的人格进行实验，结果表明我们的模型在生成目标人格的故事时表现更好。

    Jun, 2019

  • 情境化、展示和讲述：一种神经视觉讲故事的方法

    本文提出了基于神经网络的模型，通过图像序列生成短篇故事，该模型继承了 Vinyals 等人的图像描述模型，并引入了编码器 LSTM 来计算每个故事的上下文向量，用作多个独立解码器 LSTM 的第一个状态，每个解码器 LSTM 分别通过将图像嵌入作为第一个输入以生成相应图像序列的故事部分。我们在 Visual Storytelling Challenge 2018 的内部赛道上展示出了具有 METEOR 指标和人类评分的具有竞争力的结果。

    Jun, 2018

  • 保持一致性：通过迭代多智能体通信从图像流中进行主题感知的故事叙述

    本研究提出了一种新的视觉叙述方法，引入话题描述任务来检测图像流的全局语义背景，并通过多代理通信框架将话题描述生成器与故事生成器合并学习，实验结果表明该方法在生成故事方面具有比现有方法更高的质量。

    Nov, 2019

  • 通过预测故事中的锚定词嵌入进行视觉叙事

    提出了一种用于视觉故事叙述任务的学习模型，其主要思想是从图片中预测锚定词嵌入，并联合使用嵌入和图片特征生成叙述句，方法设计简单，易优化，在大多数自动评估指标中取得最佳结果，在人员评估中也优于竞争方法。

    Jan, 2020

  • 以人物为中心的叙事

    该研究利用 VIST 数据集，提出了一个模型，通过隐式学习提供的角色之间的关系，生成关注的角色的故事，旨在解决基于图像序列生成故事时，模型忽略可能存在的人和动物角色的问题。

    Sep, 2019

  • 电影情感弧线学习的音视频情感分析

    利用机器学习方法构建电影中的情感弧线，计算弧线系列，并展示了某些弧线预测观众参与度的能力。通过调查观众的反应，结果表明学习到的弧线成功地表示了影片故事的宏观方面，这进一步提高了我们作为讲故事人之间交流能力，以预测观众对视频故事的反应。

    Dec, 2017