CVPRMay, 2018

神经笑话机：幽默图片字幕生成

PDF
TL;DR本文介绍了一种基于计算机视觉的图像标注系统 -- Neural Joking Machine（NJM），该系统可根据主题（图像）和有趣的标题（文本）自动输出有趣的标题，并使用 Funny Score 对模型进行优化，实验结果表明，使用 NJM 的结果比使用基线（MS COCO Pre-trained CNN+LSTM）更为有效。
laughtercomputer visionfunny scoreboketedbneural joking machine
发现论文，激发创造
  • OxfordTVG-HIC: 机器能否从图像中制作幽默的标题？

    本研究提出了 OxfordTVG-HIC（Humorous Image Captions），这是用于幽默生成和理解的大规模数据集。通过对所训练模型进行解释性分析，我们发现视觉和语言线索对于引起幽默预测（和生成）具有影响力，并定性地观察到这些线索与认知心理学中的害笑违例理论相一致。

    Jul, 2023

  • 展示并告诉：神经图像字幕生成器

    本文提出了基于深度递归架构的生成模型，结合计算机视觉和机器翻译的最新进展，将图像描述为自然语言的句子，实验结果表明了模型的准确性和流畅性。

    Nov, 2014

  • 基于深度神经网络生成网络流行文化模因

    本研究介绍了一种新颖的模因生成系统，该系统可根据给定的任何图像产生幽默而相关的字幕，并且还可以被调节到用户自定义的与模板相关的标签。系统使用预训练的 Inception-v3 网络返回进行字幕生成的图像嵌入，通过基于注意力机制的深度 LSTM 模型实现生成 - 这受到广泛认可的 Show and Tell 模型的启发。研究人员通过困惑度和人工评估对模型进行了质量评估，包括所生成的模因的质量和其与真正的模因的区别。结果表明，我们的模型可以生成与真实模因在整体上无法区分的原创模因。

    Jun, 2018

  • 安卓能否笑对电子羊？ - 源自《纽约客》漫画比赛的幽默「理解」基准

    本文试图让 AI 模型 “展现出理解” 的《纽约客字幕比赛》中的多模态幽默，同时研究采用视觉与语言、或只采用语言作为输入的模型，并公开了包括图片的注释、实体、场景特殊之处和笑话解释的数据集和语料库。

    Sep, 2022

  • 人工智能中的幽默：巨规模众包偏好和漫画字幕基准

    我们提供了一个独特的多模态偏好数据集，用于创意任务，在过去的八年中通过众包整理了超过 250 万个标注为《纽约客》周刊漫画字幕比赛的超过 2.2 亿个人类评分。通过结合 GPT4 和人类判断，建立了基于排名的评估策略，我们对模型生成的字幕质量提出了新的评估标准。实验证明了当前的 Fine-Tuning 方法在创意任务中的局限性，并且我们展示了即使是 GPT4 和 Claude 这样的最先进模型在生成幽默字幕方面也不及顶级人类参赛者。经过这项大规模的数据收集工作，我们将整个偏好数据集释放给研究界，促进 AI 幽默生成和评估的进一步发展。

    Jun, 2024

  • 集体话语中的幽默:《纽约客》漫画字幕比赛中的无监督趣味性检测

    本研究实验比较了十二种自动方法来选择最有趣的标题，结果表明，负面情感、以人为本和词汇中心性最能匹配最有趣的标题，其次是正面情感。这些结果有助于理解幽默，并在文本和多模（视觉 + 文本）系统中设计更加引人入胜的对话代理人。

    Jun, 2015

  • 2015 MSCOCO 图像标注挑战赛的经验教训

    本篇论文介绍一种基于深度递归结构的生成模型，其结合了近期在计算机视觉和机器翻译方面的进展，能够用于生成描述图像的自然语言句子，并经过多种数据集的实验，验证了模型的准确性和语言的流畅性。更重要的是，该模型是通过对图像描述的学习而得，在最近的 COCO 数据集比赛中获得了与 Microsoft Research 团队平分秋色的好成绩，并提供了一个基于 TensorFlow 开源的实现。

    Sep, 2016

  • 随心所欲的图像字幕生成：一种有效注入情感到图像描述的多功能方案

    通过将情感注入图像描述中，我们提出了两种不同的深度学习模型，这些模型可以生成具有情感的图像描述，并可以轻松地以所需的情感生成不同的描述。

    Jan, 2018

  • 使用卷积神经网络预测观众笑声

    本文研究幽默识别，并使用语言学知识与卷积神经网络方法进行比较。结果显示，基于卷积神经网络的方法可以自动学习基本特征，提高了识别准确性。

    Feb, 2017

  • AI 有趣吗？HumorDB：一个经过精选的数据集和基准，用于研究图形幽默

    通过 HumorDB 数据集，该研究论文介绍了一种用于提升视觉幽默理解能力的图像数据集，着重于触发幽默的微妙视觉线索，并缓解潜在的偏差。该数据集可以通过二元分类（有趣或无趣）、范围回归（将幽默性评分从 1 到 10 进行量化）和成对比较任务（哪个图像更有趣？）进行评估，有效捕捉了幽默感知的主观性。初步实验表明，虽然纯视觉模型面临困难，但视觉语言模型，特别是利用大型语言模型的模型，表现出有希望的结果。HumorDB 还展示了作为功能强大的大型多模态模型的一个有价值的零样本基准的潜力。我们在 CC BY 4.0 许可证下开源了数据集和代码。

    Jun, 2024