CVPRApr, 2023

Meta 样式变换器：可控的零样本和少样本艺术风格迁移

PDF
TL;DR该论文提出了一种名为 Master 的新型 Transformer 模型，通过共享一组参数来降低总参数数量、提高训练鲁棒性、自由控制堆叠层数来控制样式化的程度，同时在内容特征和样式特征交互前采用可学习的缩放操作来更好地保留原始相似性，以实现零样式转移和少样式转移，并采用元学习方案进行优化。
transformer modelstyle transfermulti-layer structurefew-shot settingmeta learning
发现论文，激发创造
  • 用于神经风格转移的元网络

    本文提出了一种基于元网络的方法，可以通过一次前向传播来获取指定网络参数，并探索应用于神经风格迁移。相对于每个样式的基于优化的方法，我们的元网络在一台现代 GPU 卡上能够在 $19ms$ 内处理任意新样式，并能生成一个只有 449KB 大小的快速图像转换网络，可在移动设备上实时执行。实验证明了我们方法的有效性。

    Sep, 2017

  • $Z^*$：基于注意力重排的零样式转移

    通过理论分析和实验，本研究展示了扩散模型在零样式转换的有效性和优越性，并引入了交叉注意力重排策略，使样式信息能够直接提取并无缝集成到内容图像中。

    Nov, 2023

  • Avatar-Net: 特征修饰的多尺度零样式转移

    本文提出了一个有效的 Avatar-Net 模型，通过 semantically aligned style features 和 multi-scale style abstractions 两种方法，实现了任意风格的实时多尺度图像样式迁移。

    May, 2018

  • MetaStyle: 神经风格迁移中速度、灵活性和质量的三方面权衡

    我们提出了 MetaStyle 方法，将神经风格迁移公式化为双层优化问题，并结合学习和后处理更新步骤，使其适应快速逼近模型，从而实现高质量的任意艺术风格转移，并在速度，灵活性和质量之间取得了良好的平衡。

    Dec, 2018

  • 低资源多语言环境下的小样本可控风格转移

    本研究提出一种模型来进行 few-shot 风格转换，实现在没有风格标注的语言中的低资源风格转换；并使用该模型在风格转换、情感转换、文本简化、性别中立化和文本匿名化等需求中实现了 2-3 倍的性能提升。

    Oct, 2021

  • StyTr$^2$: 使用 Transformer 进行图像风格转移

    提出了一种基于 transformer 的 StyTr$^2$ 方法，用于实现图像风格转移的长程依赖，介绍了一种适用于该任务的内容感知的位置编码（CAPE），并通过定量实验表明其效果优于现有的基于 CNN 和流计算的方法。

    May, 2021

  • 基于不相交语料库的风格多样迁移及鉴别反馈

    本文介绍了使用独立获取的数据来控制多种风格的方法，旨在解决现有方法中需要联合注释所有风格维度的共同缺点，通过与现有技术的比较，我们的模型能够保留输入文本的内容，同时控制多个风格维度。

    Oct, 2020

  • 可调实时风格迁移

    该论文提出了一种新方法，可以通过一组手动可调参数在训练之后实时调整关键超参数，以使用户可以修改来自相同样式 / 内容图像对的合成输出，以寻找最喜欢的风格化图像。调整这些参数与用不同超参数重新训练模型相当，还演示了如何在保持风格和内容相似的情况下随机生成多样的结果。

    Nov, 2018

  • 多模态迁移：一种用于快速艺术风格迁移的分层深度卷积神经网络

    提出了一种多模态卷积神经网络的方案，本方案可以在多个尺度上处理风格和纹理提示，从而将艺术风格转移应用到常规照片上，平均效率也高于当前市场上其他方法。

    Nov, 2016

  • Style Mixer: 语义感知的多风格转移网络

    本文提出了一种基于区域语义的多样式迁移框架，其中引入了新的多级特征融合模块和补丁注意力模块来实现更好的语义对应和保留更丰富的样式细节，并使用区域风格融合模块将多个样式无缝地结合在一起，实现更丰富、更美观的多样式迁移结果。

    Oct, 2019