ICCVNov, 2018

基于连续语言指令的图像生成和修改

PDF
TL;DR本文提出了一种基于递归模型的图像生成方法，可以根据过去的指令以及当前的反馈生成背景，添加新对象，并对现有对象进行简单的变换，这是交互式生成的一个重要步骤。
conditional text-to-image generationiterative generationrecurrent modelfeedback historyinteractive generation
发现论文，激发创造
  • 逐步文本到图像生成的序贯语义生成通信

    该论文提出了一种新的通信系统框架，利用多模式生成模型的优势生成有前途的代沟能力。我们的主要研究方向是基于图像到文本转换和顺序传输单词令牌的通信系统设计，旨在为实际通信系统利用最先进的生成模型铺平新的道路。

    Sep, 2023

  • 生成图解指引

    生成用户定制的视觉说明书的新任务，通过结合大型语言模型和文本到图像生成扩散模型实现了一种简单方法（StackedDiffusion），在有效性、一致性和效果的度量上远远超过基线方法和最先进的多模态语言模型。

    Dec, 2023

  • 自然语言指令命令下的交互式图像操作

    本论文提出了能够通过自然语言指令生成目标图像的交互式图像处理系统，使用了神经网络处理潜在空间中的图像向量将源向量转换为目标向量，成功地在我们的数据集中利用源图像和操作指令生成目标图像，从而实现更可控、更实用的自然语言条件下的图像生成。

    Feb, 2018

  • 连贯的零射视觉指令生成

    该论文提出了一种简单的、无需训练的框架，通过整合文本理解和图像生成，解决了在生成视觉指令中保持物体的一致性和平滑状态转换的问题，实验证明该方法可以生成一致且具有视觉吸引力的指令。

    Jun, 2024

  • 基于文本的神经运算：通过文本指令进行图像操作

    本研究提出一种基于 GAN 的多模态图片编辑方法，利用自然语言指令局部修改图片特征，实现对包含多个对象的图像进行编辑，并在三个公共数据集上展示出优异的表现，包括更高的保真度和语义相关性以及更好的图像检索性能。

    Aug, 2020

  • 预言：使用生成模型预测持续学习中的未来数据变化

    使用大型语言模型和图像生成模型结合起来，在持续学习挑战过程中提供有价值的先见之明，并对细粒度图像分类基准测试上的多个类别增量学习方法进行了改进。

    Mar, 2024

  • Make-A-Story: 视觉记忆条件下的连贯故事生成

    本文提出了一种基于自回归扩散模型和视觉记忆模块的方法，利用软注意力机制实现了参考解析和场景、角色的一致性维护，用于生成与故事一致、质量高的帧画面，并在多句子情节的数据集上进行了实验验证。

    Nov, 2022

  • GANwriting：基于内容条件生成手写字体图片

    该研究通过提出一种基于书法风格特征和文本内容来调节生成过程的方法，使生成的手写单词图像更真实和多样化。该模型不受预定义词汇的限制，能够渲染任何输入的单词，并且在少量样本的情况下能够模仿样本写手的书法特征。研究通过定性、定量和基于人的评估显著超越了以往的研究。

    Mar, 2020

  • 使用场景图实现交互式图像生成

    本文提出了一种基于场景图的递增式图像生成模型，该模型通过使用递归神经网络、图卷积网络以及生成对抗网络来生成逼真的多对象图像，实验结果表明其在生成逐步增长场景图的情况下比其他方法更优。

    May, 2019

  • Idea2Img：基于 GPT-4V（ision）的迭代自我优化的自动图像设计与生成

    引入了 “Idea to Image” 系统，利用 GPT-4V (Vision) 进行多模态迭代自我精炼，实现自动图像设计与生成。

    Oct, 2023