AAAINov, 2019

任意风格迁移的动态实例规范化

PDF
TL;DR本研究提出了新的、广义的标准化模块 ——Dynamic Instance Normalization（DIN），通过组成实例标准化和动态卷积将风格图像编码成可学习的卷积参数，从而实现了灵活且更高效的任意风格转移。实验结果表明，所提出的方法在具有挑战性的风格模式上具有非常鼓舞人心的结果，并且是使用基于 MobileNet 的轻量级架构进行任意风格转移的首次，并且在计算成本方面比现有方法提供了超过 20 倍的降低因素。此外，所提出的 DIN 为最先进的卷积操作提供了灵活的支持，因此触发了新的功能，如非自然图像的均匀笔触位置和自动空间笔触控制。
发现论文，激发创造
  • 自适应样式不变神经网络的批量实例归一化

    通过 Batch-Instance Normalization 技术，能够显式地将图像中不必要的样式进行规范化，从而对识别性任务的结果产生了惊人的提升，理论有效性得到了实验验证。

    May, 2018

  • 自适应实例标准化下的实时任意风格转换

    本文提出了一种简单而有效的方法，通过引入自适应实例标准化（AdaIN）层，实现了实时的任意风格迁移，其可以灵活控制权衡内容和风格、风格插值以及颜色和空间控制。

    Mar, 2017

  • 用 Transformer 和对比学习重新思考任意风格转换

    本研究提出了一种创新技术，通过样式一致的实例归一化和基于实例的对比学习方法来改进生成的艺术风格图片的质量，引入感知编码器来捕获样式特征，实验证明该方法生成了高质量的艺术风格图片并有效地避免了伪影。

    Apr, 2024

  • 一个用于图像风格转换的内容变换块

    该论文主要研究了利用内容转换模块和归一化层实现以样式为导向的图像风格转移，并且能够实现高分辨率图像合成和实时视频风格化，通过定量和定性的实验验证了该方法的有效性。

    Mar, 2020

  • 3D 人体形状风格转移

    本文介绍了一种将静态实体角色的形状风格转移到真实动态角色的方法，并通过应用自适应实例归一化和 SPADE 体系结构将图像风格转移技术拓展到三维人体形状领域，利用卷积神经网络同时保留形状结构和传递新主题形状的风格，通过优化和学习方法实现了大约 56% 的质量和数量上的改进。

    Sep, 2021

  • 深度翻译先验：用于光真风格迁移的测试时培训

    本文提出了一种名为 Deep Translation Prior（DTP）的新框架，通过在给定的输入图像对上进行测试时间训练，使用未经过训练的网络实现了逼真的样式转移。该框架具有更好的泛化性能，无需离线训练阶段，实验证明了该框架在处理未见过的图像对时具有更好的表现。

    Dec, 2021

  • 快速风格化的缺失成分：实例标准化

    通过将批标准化替换为实例标准化来提高图像生成的质量，并同时适用于训练和测试时间，生成实时高性能架构的快速样式化方法。

    Jul, 2016

  • 通过 DINO 语义引导的可变形一次性人脸风格化

    该论文探讨了一次性人脸风格化的复杂问题，通过利用自监督视觉转换器和适应 StyleGAN 生成器进行精细调整，实现了在结构上具有鲁棒性和一致性的面部风格化，达到了显著的效率优势。

    Mar, 2024

  • 变形不变神经网络及其在扭曲图像恢复和分析中的应用

    提出了一种应对图像在几何失真时的成像任务的框架 —— 变形不变神经网络（DINN），该框架利用拟保角变换器网络（QCTN）将几何失真的图像转换为更接近自然或良好图像分布的改进版本，并在图像分类和图像恢复中取得了较好的性能。

    Oct, 2023

  • 探索实时任意神经艺术风格化网络的结构

    本文提出一种方法，将艺术风格的神经算法的灵活性与快速风格转移网络的速度相结合，利用任意内容 / 风格图像对进行实时样式化。通过学习直接从样式图像预测条件实例归一化参数，在多风格转移网络中使用条件实例归一化对最近工作进行了改进。该模型成功地在大约 8 万幅绘画作品上进行了训练，并能够推广到以前未观察到的作品。我们证明，学习到的嵌入空间是平滑的，并在整个非监督学习过程中包含了与绘画相关的丰富结构和组织语义信息。

    May, 2017