Apr, 2018

超越叙述描写：通过多方对抗训练从图像生成诗歌

PDF
TL;DR本文研究以图像为输入生成多行诗歌的任务，通过提出多个深度神经网络模型，包括一个深度视觉 - 诗歌嵌入模型、一个多模式鉴别器和一个诗歌风格鉴别器，并且通过多重对抗性训练方法，实现跨模态关联和保证诗意的诗歌生成能力。实验结果表明，本论文提出的方法优于现有的诗歌生成算法。
poetry generationimage understandingnatural language processingmulti-modal discriminatordeep visual-poetic embedding
发现论文，激发创造
  • 图像启发诗歌：使用记忆网络从图像生成古典中国诗歌

    本文提出了一种基于记忆的神经模型，利用图像生成古典诗歌。使用编码器 - 解码器模型和主题记忆网络，从图像生成中国古典诗歌，通过人工评估和定量分析证明该模型能够精确传达图像信息。

    Mar, 2018

  • 神经诗歌：使用音节生成诗歌的学习

    本文探讨了基于神经语言模型和音节的诗歌生成问题，在 Dante Alighieri 的作品中进行了实验分析，结果表明生成的三行诗在句法、语法和诗歌风格上与 Dante 的真正作品相差不大。

    Aug, 2019

  • 展示并告诉：神经图像字幕生成器

    本文提出了基于深度递归架构的生成模型，结合计算机视觉和机器翻译的最新进展，将图像描述为自然语言的句子，实验结果表明了模型的准确性和流畅性。

    Nov, 2014

  • 通过对抗学习进行语义图像合成

    本文提出了一种使用自然语言描述直接合成逼真图像的方法，它有很多有用的应用，例如智能图像操作。我们提出了一种端到端的神经架构，利用对抗学习自动学习隐式损失函数，实现语义分离并生成新图像。通过在 Caltech-200 鸟类数据集和 Oxford-102 花卉数据集上进行实验，我们证明了我们的模型能够合成符合描述要求的逼真图像，同时仍保留原始图像的其他特征。

    Jul, 2017

  • 生成对抗文本到图像的合成

    利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式，将字符转换为像素，有效地将文本和图像建模相结合，从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。

    May, 2016

  • 基于短语的图像字幕

    本文提出了一个简单的模型，可以根据给定的图片生成相关的句子，它主要侧重于句子的语法，并基于先前训练的卷积神经网络对图像进行编码。该模型使用纯双线性模型训练一个度量来衡量图像表示和用于描述图像的短语之间的关系，并能够基于推断的短语产生给定测试图像的相关描述。这一方法在 Flickr30k 和 Microsoft COCO 等数据集中实现了可比较的结果，同时相对于最先进的模型而言，该方法更加简单。

    Feb, 2015

  • 自然语言的对抗生成

    本文探讨了使用 GAN 自学习等机制解决自然语言生成中离散输出空间问题；通过实验表明，提出的模型在中文古诗生成数据集上取得了最新的高分，可以生成自由语序和概率性上下文无关语法。此外还介绍了一个条件模型，可根据句子特征生成序列。

    May, 2017

  • 自动诗歌生成中的多样性评估

    评估自动生成诗歌的多样性，通过比较自动生成诗歌的结构、词汇、语义和风格等维度的分布与人类诗歌的分布，并考察不同模型类型和微调类型，发现当前的自动生成诗歌系统在多个维度上缺乏多样性，但风格条件和字符级建模明显增加了多样性。这些限制可用于更加多样化的未来诗歌生成模型。

    Jun, 2024

  • 文本到艺术图像生成

    通过神经网络，从文字描述生成一张与特定风格和流派匹配的艺术图片，为手残人士提供一种表达思想和创造的途径。

    May, 2022

  • 基于注意力机制的通过文字生成图片

    提出一种基于自然语言描述生成图像的生成模型，采用微软 COCO 数据集进行训练，通过比较实验结果，证明该模型的生成图像质量更高且可以生成新颖的场景构图。

    Nov, 2015