May, 2017

神经风格转移稳定性的表征与改进

PDF
TL;DR本文研究实时视频风格转移，提出一种基于循环卷积神经网络的方法，利用 Gram 矩阵的特征分析实现时间一致性和稳定性的控制，不需要测试期间的光流计算并能在任意分辨率下产生高质量、时间一致的视频效果。
style transferreal-time videorecurrent convolutional networktemporal consistencygram matrix
发现论文，激发创造
  • ReCoNet：实时相干视频风格转移网络

    本文提出了一种基于卷积神经网络的实时视频风格转移模型 ReCoNet，通过引入新的亮度变形约束和特征映射级别的时间损失，实现了既有高质量风格又能保证时间连贯性的风格迁移。实验结果表明该模型在质量和效率上均表现出色。

    Jul, 2018

  • 在线连贯视频风格转移

    通过设计一种具有短期和长期相干性的即时视频风格转化网络，以处理使用不同图像风格化网络的视频序列，高效生成连贯、极具视觉效果和数量效应显著优于基本算法的结果。

    Mar, 2017

  • 使用直方图损失实现稳定可控的神经纹理合成和风格迁移

    本文提出了一种基于卷积神经网络的多尺度合成管道，采用直方图损失来综合纹理，改善以前方法中的不稳定性，同时通过集成局部样式损失来提高特征的质量，改善内容和样式的分离，并提供艺术控制，进而获得更高质量、更快收敛和更好的稳定性。

    Jan, 2017

  • 实时本地化光真实视频风格转换

    本文提出了一种基于深度神经网络的算法，通过将图像的语义有意义的本地区域的艺术风格转移至目标视频的本地区域，同时保持其照片般的逼真性，并通过噪声和时间损失来优化视频的语义标签和平滑转换风格，最终实现一种能够自动生成视觉媒体的风格迁移方法。

    Oct, 2020

  • 交互式控制视频流风格化时的时间一致性

    该论文提出了一种使用轻量级光流网络进行视频风格化的方法，可以实现交互式一致性控制和时域一致性，同时支持各种图像处理滤镜。经过客观和主观评价，该方法优于现有的最佳方法。

    Jan, 2023

  • 探索实时任意神经艺术风格化网络的结构

    本文提出一种方法，将艺术风格的神经算法的灵活性与快速风格转移网络的速度相结合，利用任意内容 / 风格图像对进行实时样式化。通过学习直接从样式图像预测条件实例归一化参数，在多风格转移网络中使用条件实例归一化对最近工作进行了改进。该模型成功地在大约 8 万幅绘画作品上进行了训练，并能够推广到以前未观察到的作品。我们证明，学习到的嵌入空间是平滑的，并在整个非监督学习过程中包含了与绘画相关的丰富结构和组织语义信息。

    May, 2017

  • 可调实时风格迁移

    该论文提出了一种新方法，可以通过一组手动可调参数在训练之后实时调整关键超参数，以使用户可以修改来自相同样式 / 内容图像对的合成输出，以寻找最喜欢的风格化图像。调整这些参数与用不同超参数重新训练模型相当，还演示了如何在保持风格和内容相似的情况下随机生成多样的结果。

    Nov, 2018

  • 光流蒸馏：实现高效稳定视频风格转移

    本文提出了一种通过知识蒸馏范式学习轻量级视频风格转移到提高稳定性的方法，并采用两个教师网络，一个使用光流，另一个不使用，通过它们的输出差异，采用蒸馏方法训练目标学生网络，同时采用低秩蒸馏损失来稳定学生网络的输出，实验证明我们的学生网络不需要光流模块即可生成稳定视频，并比教师网络运行速度更快。

    Jul, 2020

  • 实时高清风格迁移的风格感知内容损失

    该论文提出了一种基于 Style-aware Content Loss 的 Encoder-Decoder 网络，可实现实时、高分辨率的图像和视频样式化，能够更好地捕捉样式对内容的微妙影响。

    Jul, 2018

  • 单帧正则化用于保持时间稳定的 CNNs

    本论文提出了一种新的卷积神经网络训练策略，利用正则化方法实现了视频神经网络的时间稳定性不需要昂贵的运动估计或大量视频材料，同时可在架构不变的情况下进行微调，并证明该方法可以显著提高时间平滑性并增强泛化性能。

    Feb, 2019