Feb, 2023

黑白随笔：由文本描述生成绘画

PDF
TL;DR本文针对从文字获取真实风格的图片和使用图片风格实现真实画作两个任务，探索了两种策略，即生成真实图片并应用风格转移和训练图像生成模型，然后在后期精调含有标题的画作。最后评估了这两种模型，并进行了用户研究以获取反馈。
photorealistic picturesstyle transferpaintingscaptioned paintingsimage generation
发现论文，激发创造
  • 文本到艺术图像生成

    通过神经网络，从文字描述生成一张与特定风格和流派匹配的艺术图片，为手残人士提供一种表达思想和创造的途径。

    May, 2022

  • ChatPainter：利用对话改进文本到图像生成

    本文研究使用对话来提高基于文本描述合成逼真图像的模型在 Microsoft COCO 数据集上的生成效果和 Inception Score（评估图像质量的指标）。

    Feb, 2018

  • 基于注意力机制的通过文字生成图片

    提出一种基于自然语言描述生成图像的生成模型，采用微软 COCO 数据集进行训练，通过比较实验结果，证明该模型的生成图像质量更高且可以生成新颖的场景构图。

    Nov, 2015

  • 超越叙述描写：通过多方对抗训练从图像生成诗歌

    本文研究以图像为输入生成多行诗歌的任务，通过提出多个深度神经网络模型，包括一个深度视觉 - 诗歌嵌入模型、一个多模式鉴别器和一个诗歌风格鉴别器，并且通过多重对抗性训练方法，实现跨模态关联和保证诗意的诗歌生成能力。实验结果表明，本论文提出的方法优于现有的诗歌生成算法。

    Apr, 2018

  • 基于短语的图像字幕

    本文提出了一个简单的模型，可以根据给定的图片生成相关的句子，它主要侧重于句子的语法，并基于先前训练的卷积神经网络对图像进行编码。该模型使用纯双线性模型训练一个度量来衡量图像表示和用于描述图像的短语之间的关系，并能够基于推断的短语产生给定测试图像的相关描述。这一方法在 Flickr30k 和 Microsoft COCO 等数据集中实现了可比较的结果，同时相对于最先进的模型而言，该方法更加简单。

    Feb, 2015

  • DreamStyler：使用文本到图像扩散模型进行风格反演的绘画

    DreamStyler 是一种新的框架，用于艺术图像合成，具备文本到图像合成和风格转换的能力，通过多阶段的文本嵌入和上下文感知的文本提示来优化图像质量，并具备适应一系列风格参考的灵活性，实验证明其在多种场景下的卓越性能，显示出在艺术产品创作方面的潜在优势。

    Sep, 2023

  • 样式生成：基于粗略匹配的图像合成

    使用粗略匹配的文本作为引导，本研究介绍了一种新颖的基于文本的风格生成方法，通过两阶段的生成对抗网络生成与细化图像风格，并通过实验证实了该方法的有效性和实际应用价值。

    Sep, 2023

  • 语义绘图工程用于文本到图像的生成

    通过生成对抗网络（GAN）或变压器模型进行文本到图像生成。提出了一种方法，利用人工智能模型进行主题创造，并对实际绘画过程进行分类建模。通过将所有视觉元素转化为可量化的数据结构来创建图像，并与现有的图像生成算法进行语义准确性、图像可复现性和计算效率方面的有效性评估。

    Dec, 2023

  • 提高人脸生成质量及配套使用合成字幕

    通过引入一种无需训练的流程，从人脸图像生成真实的外貌描述，进而改进了文本到图像扩散模型的能力，并提高了其遵循给定提示的能力。

    May, 2024

  • PromptPaint: 通过绘画媒介般的互动引导文本生成图像

    通过将 T2I 生成与模拟使用彩色绘画的交互相结合，PromptPaint 使用户能够超越语言来混合表达具有挑战性概念的提示，从而允许他们在图像生成过程的不同画布区域和时间应用不同的提示，并提供了有关未来可操控生成工具的深入洞察。

    Aug, 2023