CVPRMay, 2018

SemStyle: 使用非对齐文本学习生成风格化图像标题

PDF
TL;DR通过 SemStyle 模型，利用自然语言处理技术和语义框架生成语义和风格相符且与图片语义相关的题注，为从丰富的网络语言数据中学习更丰富的图像描述提供可能性。
visual groundingimage captioninglinguistic stylesemstylenatural language processing
发现论文，激发创造
  • 随心所欲的视觉描述：由少量风格化句子引导的图像和视频描述

    FS-StyleCap 是一个用于 Few-Shot Stylized Visual Captioning 的框架，通过训练样本生成相关风格的标题描述，其在自动评估中的结果优于现有方法，并且在处理多种风格方面具有能力。

    Jul, 2023

  • 基于 Bootstrapping 和步进强化奖励的语言风格转化半监督框架学习

    本研究提出一种使用半监督框架和强化返馈来解决文本风格转移挑战的方法，通过自动构建伪并行对来引导监督学习并通过强化奖励学习未标注数据，提供细粒度的学习信号来稳定增强学习，并取得了多个数据集上最先进的性能。

    May, 2022

  • 风格转换作为无监督机器翻译

    本文提出一种使用无监督机器翻译方法来实现自动语言风格转换的方法，利用样式偏好信息和单词嵌入相似性来生成伪平行数据，并采用迭代回译方法来联合训练两个神经机器翻译（NMT）系统，其中引入样式分类器来控制噪声。实验表明，该方法在语言风格转换的精确度和输入输出对应质量方面优于以前的现有模型。

    Aug, 2018

  • 共享多模态嵌入的无监督图像字幕生成

    通过共享的、结构化的视觉概念潜在空间，将图像特征转化到语义向量嵌入空间中，并使用同一语言模型将其解码为场景描述，无需明确监督来了解图像；这种转化借助于暴露于图像 / 标题数据分布之外的大型文本语料库，并且具有鲁棒性。

    Aug, 2019

  • 多样式图像字幕的样式感知对比学习

    本文提出了一种针对多风格图像字幕生成的样式感知对比学习的方法，该方法基于对潜在与风格相关的视觉内容的对比学习，提出了一个样式感知的视觉编码器以及三种检索方案。实验结果表明，该方法的性能达到了最先进水平。

    Jan, 2023

  • 无监督文本风格转移中的结构内容保持

    本文提出了一种基于结构化细粒度监督的内容保留模型，利用语言信息并设定模型目标以达到在改变句子的风格的同时更好地保留与风格无关的内容，进行情感和政治倾向转换任务的实验表明该模型在内容保留和风格转换上表现出显著改善。

    Oct, 2018

  • StyleCap：基于语音和语言自我监督学习模型的自动口语样式字幕生成

    StyleCap 提出了一种生成自然语言描述语音中出现的语言风格的方法，通过训练神经网络来预测前缀向量，并使用一个大型语言模型（LLM）的文本解码器从语音表示向量生成说话风格提示。

    Nov, 2023

  • Style Transformer: 无需分解潜变量的非配对文本风格转移

    本文提出 Style Transformer，它结合了注意力机制和变形器模型，可以更好地处理文本风格转移和内容保存的问题。

    May, 2019

  • 样式生成：基于粗略匹配的图像合成

    使用粗略匹配的文本作为引导，本研究介绍了一种新颖的基于文本的风格生成方法，通过两阶段的生成对抗网络生成与细化图像风格，并通过实验证实了该方法的有效性和实际应用价值。

    Sep, 2023

  • Sem-CS：面向基于文本的图像风格转换的语义 CLIP 样式器

    提出了一种基于全局前景损失和全局背景损失的 Semantic CLIPStyler 框架用于实现语义风格迁移，结果优于基于 CLIPStyler 的框架。

    Jul, 2023