CVPRApr, 2018

通过交互式视觉问题生成和回答定制图像叙述生成

PDF
TL;DR本文提出了定制化的图像叙事生成任务，通过用户交互式参与生成过程，并尝试通过反复交互阶段来学习用户的兴趣，从而自动生成更广泛主题的多样化描述，同时可针对交互目标进行定制化。
image descriptionnarrative generationinteractive engagementuser interestdiversity
发现论文，激发创造
  • 生成关于图像的自然问题

    探索了关于一张图片是如何引发常识推理和抽象事件的问题，提出了一项新颖任务视觉问题生成（VQG），该系统的任务是在展示了一张图片后提出自然而引人入胜的问题，我们提供了三个数据集，涵盖了从目标为中心到事件为中心的各种图像，其中训练数据远比现有最先进的字幕系统提供的数据更抽象，通过训练和测试几种生成和检索模型来解决 VQG 这个任务，评估结果表明，尽管这样的模型为各种图像提出了合理的问题，但与人类性能的差距仍然很大，这激发了我们进一步探索将图像与常识和语用知识联系起来的相关研究。

    Mar, 2016

  • 基于视觉输入的故事生成：技术、相关任务和挑战

    从视觉数据中创建引人入胜的叙述对于自动化数字媒体消费、辅助技术和互动娱乐至关重要。该研究综述了用于生成这些叙述的方法学，重点讨论其原理、优势和局限性。该综述还涵盖了与自动故事生成相关的任务，如图像和视频字幕以及视觉问题回答，以及没有视觉输入的故事生成。这些任务与视觉故事生成存在共同的挑战，并为该领域使用的技术提供了灵感。我们对主要数据集和评估指标进行了分析，并提供了对其局限性的批评性观点。

    Jun, 2024

  • 基于场景的视觉问题的自动生成

    本文提出了一种模型，能够从单个图像中生成具有不同类型的视觉问题。通过采样最可靠的问题类型来自动生成问，该方法在两个真实世界数据集上的实验结果表明，我们的模型在正确性和多样性方面都优于最强基线。

    Dec, 2016

  • Multi-VQG：为多张图片生成引人入胜的问题

    本文提出基于多张图片生成引人入胜的问题的方法，所建立的 MVQG 数据集以及基于端到端和双阶段体系结构的一系列基线模型表明，建立图像序列背后的故事能够使模型生成更有趣的问题。

    Nov, 2022

  • 保持一致性：通过迭代多智能体通信从图像流中进行主题感知的故事叙述

    本研究提出了一种新的视觉叙述方法，引入话题描述任务来检测图像流的全局语义背景，并通过多代理通信框架将话题描述生成器与故事生成器合并学习，实验结果表明该方法在生成故事方面具有比现有方法更高的质量。

    Nov, 2019

  • 多模式提示下的用户友好定制生成

    本文提出了一种方法，用户只需提供每个定制主题的图像和文本，而不需要提供多张图像，通过引入 “多模态提示” 概念，将文本和图像相结合，简化用户交互，实现对对象和场景的精确定制。该方法在用户友好性和使用友好输入定制复杂对象方面超过了现有的基于微调方法。

    May, 2024

  • 从图像中生成自动描述：模型、数据集和评估措施综述

    本文综述了计算机视觉和自然语言处理社区最近对于从自然图像中自动生成描述的兴趣，系统分类了现有的方法并进行了详细回顾，讨论了它们的优缺点，总结了基准图像数据集和评估措施，并展望了未来的发展方向。

    Jan, 2016

  • 基于情感和关键词的视觉故事生成

    自动视觉化故事生成包含了自然对话生成和图像生成两个部分，其中，系统通过用户指定的关键词和情绪标签生成下一个句子，再用扩散模型生成相应的图像。此外，通过对象识别技术，生成的图像中的物品可被用于未来的故事发展。

    Jan, 2023

  • 问题 - 答案计划的视觉叙事

    将图像序列转化为可解释的视觉前缀，结合预训练语言模型和规划，利用问题 - 答案对作为蓝图计划选择显著的视觉概念，并确定它们如何组织成故事，生成更连贯、有趣和自然的故事。

    Oct, 2023

  • 生成图解指引

    生成用户定制的视觉说明书的新任务，通过结合大型语言模型和文本到图像生成扩散模型实现了一种简单方法（StackedDiffusion），在有效性、一致性和效果的度量上远远超过基线方法和最先进的多模态语言模型。

    Dec, 2023