Sep, 2023

即时逼真风格迁移：一种轻量级和自适应方法

PDF
TL;DR该论文提出了一种即时的、逼真的风格迁移方法，用于超分辨率输入的风格迁移，无需与成对数据集进行预训练或强加额外约束。通过使用一个轻量级的 StyleNet，我们的方法在保留非颜色信息的同时，实现了从风格图像到内容图像的风格迁移。为了进一步增强风格迁移过程，我们引入了一种实例自适应优化，以优先考虑输出的逼真性并加快风格网络的收敛，从而在几秒钟内快速完成训练。此外，该方法非常适用于多帧风格迁移任务，因为它保持了多帧输入（如视频和神经辐射场）的时间和多视图一致性。实验结果表明，该方法需要更少的 GPU 内存使用，提供更快的多帧迁移速度，并生成逼真的输出，为各种逼真的迁移应用提供了有希望的解决方案。
instant photorealistic style transfersuper-resolution inputslightweight stylenetinstance-adaptive optimizationmulti-frame style transfer
发现论文，激发创造
  • 神经架构搜索实现的超快照片真实风格转移

    本文提出了一种基于 PhotoNet 和神经架构搜索的相机级画风快速迁移算法，在保持细节保留和逼真性的同时，相比当前最先进的方法可以实现 20-30 倍的加速，而无需进行预处理或后处理。

    Dec, 2019

  • 实时通用光真实风格迁移的联合双边学习

    基于深度神经网络的较慢的最新方法限制实际分辨率，或仍包含可感知的瑕疵，我们在这里提出了一种新的端到端模型，用于光影逼真的风格转移，其快速且产生逼真的结果，与现有最先进的方法相比，我们的方法产生了视觉上更好的结果，速度提高了三个数量级，并在移动手机上实现了 4K 的实时性能。

    Apr, 2020

  • 任意风格的快速基于块的风格转移

    本文提出了一种基于局部匹配和卷积神经网络的简单优化目标，该目标可以在保持效率的同时，产生艺术风格迁移的高品质结果。同时，本文结合内容结构和风格纹理，利用预训练网络的单层来实现该目标，并且使用 80,000 张自然图像和 80,000 张绘画进行反向优化网络的训练，这使得整个算法支持任意图像进行迁移。

    Dec, 2016

  • 神经元邻居风格迁移

    本文介绍了神经邻域风格迁移（NNST）方法，通过替换从风格示例图像中提取的神经特征，以及基于这些重新排列的特征合成最终输出，从而显著提高了最终视觉质量。

    Mar, 2022

  • InstantStyle-Plus: 文本到图像生成中保留内容的风格转换

    通过将风格转移任务分解为风格、空间结构和语义内容三个核心元素，本研究提出了 InstantStyle-Plus，一种注重原始内容完整性同时无缝整合目标风格的方法。通过有效的、轻量级的风格注入过程，并利用先进的 InstantStyle 框架，实现风格注入。为了增强内容保护，我们使用倒置的内容潜噪声和多功能的接插件式 ControlNet 来保持原始图像的内在布局。此外，还引入了全局语义适配器以增强语义内容的保真度，并使用风格提取器作为鉴别器提供辅助风格引导。

    Jun, 2024

  • 实时本地化光真实视频风格转换

    本文提出了一种基于深度神经网络的算法，通过将图像的语义有意义的本地区域的艺术风格转移至目标视频的本地区域，同时保持其照片般的逼真性，并通过噪声和时间损失来优化视频的语义标签和平滑转换风格，最终实现一种能够自动生成视觉媒体的风格迁移方法。

    Oct, 2020

  • InstantStyle：文本到图像生成中面向保留风格的免费午餐

    Tuning-free diffusion-based models have achieved promising results in image personalization and customization, but still face challenges in style-consistent image generation. This paper introduces InstantStyle, a framework that addresses these challenges by decoupling style and content, and injecting reference image features into style-specific blocks to achieve superior visual stylization outcomes.

    Apr, 2024

  • 深度照片风格转移

    本文提出了一种基于深度学习的摄影风格迁移方法，通过处理大量图像内容，忠实地传输参考样式。它可以成功抑制失真效果，满足各种情况下的摄影风格转移，包括时间、天气、季节和艺术编辑的转移。

    Mar, 2017

  • 自适应实例标准化下的实时任意风格转换

    本文提出了一种简单而有效的方法，通过引入自适应实例标准化（AdaIN）层，实现了实时的任意风格迁移，其可以灵活控制权衡内容和风格、风格插值以及颜色和空间控制。

    Mar, 2017

  • 通过缩略图实例归一化实现超分辨率神经风格转移

    本文提出了一种非常简单的超高分辨率风格迁移框架，称为 URST，它采用缩略图实例规范化方法在分割的小块上进行风格迁移，从而成功地实现对任意高分辨率图像的风格转移，并利用所提出的笔触感知损失在扩大笔划大小方面超越现有的 SOTA 方法。

    Mar, 2021