MMAug, 2021

类似场景引发类似情感：用于风格化图像字幕生成的并行数据增强

PDF
TL;DR该论文提出了一种新的数据扩增框架来实现语义相关、风格一致的图像描述生成，在以往仅使用无监督学习方法来进行风格生成的基础上，利用情感词组从小规模缩影句子中提取风格语言，将其与大规模事实描述相结合，采用多模式场景检索和情感感知式生成器生成一系列分别各异、口语化的描述。实验证明，该方法能够有效缓解数据稀缺的问题，同时在句子相关性和时尚性等方面都显着超越了现有技术方法的最新水平。
image captioningdata augmentationemotion-awarestylized captionsunsupervised learning
发现论文，激发创造
  • 基于自适应学习和注意力机制的风格化图像字幕生成：客观描述或情感表现？

    本文提出了一种新颖的基于 style-factual LSTM 和自适应学习的图像标注模型，能够同时考虑图像的内容和特定的风格要求，如幽默，浪漫，正面和负面。实验结果表明，该模型在两个不同的图像标注数据集上（幽默 / 浪漫标注以及正面 / 负面标注）的表现均超过了目前的最先进方法，且不需要额外的监督信息。

    Jul, 2018

  • 随心所欲的视觉描述：由少量风格化句子引导的图像和视频描述

    FS-StyleCap 是一个用于 Few-Shot Stylized Visual Captioning 的框架，通过训练样本生成相关风格的标题描述，其在自动评估中的结果优于现有方法，并且在处理多种风格方面具有能力。

    Jul, 2023

  • 细粒度图像 - 文本检索中的配对交叉模态数据增强

    该论文研究了一个生成文本 - 图像对以提高细粒度图像 - 文本跨模态检索任务训练的开放性研究问题，并提出了一种新的框架用于成对数据增强，以揭示 StyleGAN2 模型的隐藏语义信息。

    Jul, 2022

  • 应用扩散模型进行图像字幕的多模态数据增强

    本研究提出了一种基于多模态数据增强技术的图像字幕生成方法，旨在解决图像字幕对齐困难的问题。实验证明，本方法可以通过高质量生成图像 - 字幕对来扩充训练数据集，从而提高模型的训练效率和预测准确性。

    May, 2023

  • 多样式图像字幕的样式感知对比学习

    本文提出了一种针对多风格图像字幕生成的样式感知对比学习的方法，该方法基于对潜在与风格相关的视觉内容的对比学习，提出了一个样式感知的视觉编码器以及三种检索方案。实验结果表明，该方法的性能达到了最先进水平。

    Jan, 2023

  • 语音情感识别中的非监督语音风格转移数据增强

    该文研究了语音情感识别中数据不足的问题，提出了一种称为 EmoAug 的情感样式转移模型，该模型可以用来增强音频数据的情感表达，包括应对数据不平衡的问题，实验表明该模型在提取语音情感特征方面的效果显著优于现有方法。

    Nov, 2022

  • 形式转换的并行数据增强

    本论文研究如何增广平行数据，提出了新颖且简单的数据增广方法来获得有用的句子对，并表明采用增广平行数据进行预训练可以帮助改善正式语体转换，并在 GYAFC 基准数据集中取得了最先进的结果。

    May, 2020

  • 图像字幕半监督框架

    提出了一种新的图像字幕生成方法，该方法能够利用无图像数据的文本数据，并使用区域图像特征生成有意义的二进制向量，从而获得更准确和多样化的字幕。该方法的主要优点是能够生成具有 Salient 图像属性的有意义的二进制向量，并通过软关注机制对其进行解码。

    Nov, 2016

  • 用于字到句的视觉语义相似度在标题生成的应用：得到的经验教训

    本文提出一种改进图像 - 字幕生成系统的方法，通过从视觉上下文的角度修订语言生成输出的 beam search，采取视觉语义量化概念，在单词和句子级别上匹配与图像相关的信息来选择最相关的输出作为字幕。该方法可作为后处理方法应用于任何字幕系统中。

    Sep, 2022

  • StacMR: 场景文本感知的跨模态检索

    本文提出了一个新的数据集，使得可以探索图像包含场景文本实例时的交叉检索。我们提出了几种方法，其中包括更好的场景文本感知交叉检索方法，它使用了来自标题和视觉场景文本的专门表示，并将它们调和在一个公共嵌入空间中。大量实验证实了这些方法从场景文本中受益，并突出了值得进一步探索的有趣研究问题。本文中提出的数据集和代码可在 http URL 中获得。

    Dec, 2020