Jun, 2018

基于深度神经网络生成网络流行文化模因

PDF
TL;DR本研究介绍了一种新颖的模因生成系统，该系统可根据给定的任何图像产生幽默而相关的字幕，并且还可以被调节到用户自定义的与模板相关的标签。系统使用预训练的 Inception-v3 网络返回进行字幕生成的图像嵌入，通过基于注意力机制的深度 LSTM 模型实现生成 - 这受到广泛认可的 Show and Tell 模型的启发。研究人员通过困惑度和人工评估对模型进行了质量评估，包括所生成的模因的质量和其与真正的模因的区别。结果表明，我们的模型可以生成与真实模因在整体上无法区分的原创模因。
meme generationcaptioning systemdeep learninglstm modelperplexity
发现论文，激发创造
  • 实体感知图像标题生成

    提出了一种基于 CNN-LSTM 模型和知识图的算法来解决图像描述中缺少特定信息的问题，该模型通过填充来自于 hashtags 的具体命名实体，使得生成的基于输入图像的模板描述信息更加丰富，实验结果表明该模型在多种评价指标上显著优于单模态基准线。

    Apr, 2018

  • 展示并告诉：神经图像字幕生成器

    本文提出了基于深度递归架构的生成模型，结合计算机视觉和机器翻译的最新进展，将图像描述为自然语言的句子，实验结果表明了模型的准确性和流畅性。

    Nov, 2014

  • 基于 GRU 注意机制的图像字幕生成的深度神经网络框架

    本研究旨在利用预先训练的卷积神经网络，结合注意力机制和循环神经网络，将图像特征与语言模型相结合，实现图像描述生成。实验结果与现有先进方法相比，具有竞争性的性能。

    Mar, 2022

  • 多模态循环神经网络（m-RNN）实现的深度字幕生成

    本文提出了一种基于多模态循环神经网络的模型，用于生成图像标题，并在四个基准数据集上验证了该模型的有效性。

    Dec, 2014

  • CNN+CNN：用于图像字幕生成的卷积解码器

    本文在图像字幕生成方面，提出了一种仅利用卷积神经网络生成字幕的框架，通过并行计算，训练速度比基于 LSTM 的模型快 3 倍，同时在 MSCOCO 图像字幕数据集上获得了比 LSTM 更高的评估得分。

    May, 2018

  • 神经笑话机：幽默图片字幕生成

    本文介绍了一种基于计算机视觉的图像标注系统 -- Neural Joking Machine（NJM），该系统可根据主题（图像）和有趣的标题（文本）自动输出有趣的标题，并使用 Funny Score 对模型进行优化，实验结果表明，使用 NJM 的结果比使用基线（MS COCO Pre-trained CNN+LSTM）更为有效。

    May, 2018

  • 恶毒模因挑战下一步

    本研究探讨了如何解决图片与文本混合的分类问题，尝试使用半监督学习技术生成更多可标注的恶意模因来提升分类准确率，但必须经过人工过滤和筛选。

    Dec, 2022

  • MemeGraphs: 将 Memes 与知识图谱进行关联

    本文提出了一种使用场景图和知识图作为结构化表示对旨在进行模因分类的 Transformer-based 模型的方法，并与 ImgBERT 模型进行了比较，发现使用场景图和知识图的方法能够获得一致的性能提升，自动生成的图表现出更好的针对 meme 的恶意分类性能。

    May, 2023

  • 2015 MSCOCO 图像标注挑战赛的经验教训

    本篇论文介绍一种基于深度递归结构的生成模型，其结合了近期在计算机视觉和机器翻译方面的进展，能够用于生成描述图像的自然语言句子，并经过多种数据集的实验，验证了模型的准确性和语言的流畅性。更重要的是，该模型是通过对图像描述的学习而得，在最近的 COCO 数据集比赛中获得了与 Microsoft Research 团队平分秋色的好成绩，并提供了一个基于 TensorFlow 开源的实现。

    Sep, 2016

  • 基于注意力机制的通过文字生成图片

    提出一种基于自然语言描述生成图像的生成模型，采用微软 COCO 数据集进行训练，通过比较实验结果，证明该模型的生成图像质量更高且可以生成新颖的场景构图。

    Nov, 2015