Mar, 2022

StyleBabel：艺术风格标记和字幕

PDF
TL;DR本研究提出了 StyleBabel 数据集，包括超过 135K 的数字艺术作品的自然语言标题和描述艺术风格的自由表单标签；通过一种基于 Grounded Theory 的迭代方法进行收集，使用 ALADIN 架构 + Visual Transformer (ViT) 和跨模态表示学习进行 fine-grained style 检索，从而实现了自由形式标记的生成、自然语言描述艺术风格以及精细化文本搜索等多样化的样式特征任务。
stylebabeldatasetartistic stylealadincross-modal embeddings
发现论文，激发创造
  • SemStyle: 使用非对齐文本学习生成风格化图像标题

    通过 SemStyle 模型，利用自然语言处理技术和语义框架生成语义和风格相符且与图片语义相关的题注，为从丰富的网络语言数据中学习更丰富的图像描述提供可能性。

    May, 2018

  • Stylebreeder: 通过文本 - to - 图像模型探索和使艺术风格大众化

    通过介绍 Artbreeder 上由 95K 用户生成的 680 万图片和 180 万提示的全面数据集，我们引入了一系列任务来识别多样的艺术风格、生成个性化内容并根据用户兴趣推荐风格。通过记录超越传统类别如 'cyberpunk' 或 'Picasso' 的独特用户生成风格，我们探索了用户全球集体创造心理的潜能。我们还评估了不同的个性化方法以增强艺术表达，并引入了一个风格地图集，以公共用户的方式呈现这些模型。我们的研究展示了文本到图像扩散模型发现和推广独特艺术表达的潜能，进一步使 AI 在艺术中具有民主化，促进更加多样和包容的艺术社区。数据集、代码和模型可以在此 https URL 获取，采用公共领域（CC0）许可证。

    Jun, 2024

  • ALADIN：全层自适应实例标准化进行细粒度风格相似度计算

    ALADIN 是一种基于样式相似度搜索图像的新型架构，其利用 BAM-FG 数据集进行了微弱监督学习，实现了对数码艺术品的细粒度样式相似性表示，成为了针对基于风格的视觉搜索的最新标杆。

    Mar, 2021

  • Style-A-Video：任意文本视频样式转移的敏捷扩散

    这篇文章提出了一种称为 Style-A-Video 的零样式迁移视频美化方法，利用生成式预训练转换器和图像潜在扩散模型，改善图像降噪过程的指导条件，从而在艺术表达和结构保护之间建立平衡，并采用采样优化和时间一致性模块，以达到优秀的内容保护和风格性能。

    May, 2023

  • 通过细分和双重绑定实现任何艺术风格的文本到图像合成

    该研究论文介绍了一种名为 Single-StyleForge 的新方法，用于将预训练的文本到图像扩散模型进行个性化训练，从文本提示中生成指定风格的多样化图像。此外，研究还提出了一种名为 Multi-StyleForge 的改进方法，通过学习多个标记来改善风格和文本 - 图像对齐的质量，在六种不同的艺术风格上实验评估表明，在生成的图像质量和感知保真度指标（如 FID、KID 和 CLIP 分数）方面取得了显着的改善。

    Apr, 2024

  • 探索实时任意神经艺术风格化网络的结构

    本文提出一种方法，将艺术风格的神经算法的灵活性与快速风格转移网络的速度相结合，利用任意内容 / 风格图像对进行实时样式化。通过学习直接从样式图像预测条件实例归一化参数，在多风格转移网络中使用条件实例归一化对最近工作进行了改进。该模型成功地在大约 8 万幅绘画作品上进行了训练，并能够推广到以前未观察到的作品。我们证明，学习到的嵌入空间是平滑的，并在整个非监督学习过程中包含了与绘画相关的丰富结构和组织语义信息。

    May, 2017

  • 多样式图像字幕的样式感知对比学习

    本文提出了一种针对多风格图像字幕生成的样式感知对比学习的方法，该方法基于对潜在与风格相关的视觉内容的对比学习，提出了一个样式感知的视觉编码器以及三种检索方案。实验结果表明，该方法的性能达到了最先进水平。

    Jan, 2023

  • 随心所欲的视觉描述：由少量风格化句子引导的图像和视频描述

    FS-StyleCap 是一个用于 Few-Shot Stylized Visual Captioning 的框架，通过训练样本生成相关风格的标题描述，其在自动评估中的结果优于现有方法，并且在处理多种风格方面具有能力。

    Jul, 2023

  • StyleM: 基于对比 N-grams 构建的图像字幕风格化度量

    本文提出了两个用于评估机器生成的标题和真实风格化标题之间关联的自动评估度量标准：OnlyStyle 和 StyleCIDEr。

    Jan, 2022

  • 样式生成：基于粗略匹配的图像合成

    使用粗略匹配的文本作为引导，本研究介绍了一种新颖的基于文本的风格生成方法，通过两阶段的生成对抗网络生成与细化图像风格，并通过实验证实了该方法的有效性和实际应用价值。

    Sep, 2023