Mar, 2017

在线连贯视频风格转移

PDF
TL;DR通过设计一种具有短期和长期相干性的即时视频风格转化网络，以处理使用不同图像风格化网络的视频序列，高效生成连贯、极具视觉效果和数量效应显著优于基本算法的结果。
neural style transfervideo processingend-to-end networktemporal coherenceshort-term coherence
发现论文，激发创造
  • ReCoNet：实时相干视频风格转移网络

    本文提出了一种基于卷积神经网络的实时视频风格转移模型 ReCoNet，通过引入新的亮度变形约束和特征映射级别的时间损失，实现了既有高质量风格又能保证时间连贯性的风格迁移。实验结果表明该模型在质量和效率上均表现出色。

    Jul, 2018

  • 神经风格转移稳定性的表征与改进

    本文研究实时视频风格转移，提出一种基于循环卷积神经网络的方法，利用 Gram 矩阵的特征分析实现时间一致性和稳定性的控制，不需要测试期间的光流计算并能在任意分辨率下产生高质量、时间一致的视频效果。

    May, 2017

  • 交互式控制视频流风格化时的时间一致性

    该论文提出了一种使用轻量级光流网络进行视频风格化的方法，可以实现交互式一致性控制和时域一致性，同时支持各种图像处理滤镜。经过客观和主观评价，该方法优于现有的最佳方法。

    Jan, 2023

  • 学习盲视频时间一致性

    本文利用深度递归神经网络，结合短期、长期以及感知上的损失，为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入，生成时间上连贯的视频的方法，实现了对多种需求的处理，且无需光流计算，具有实时性能。

    Aug, 2018

  • 实时本地化光真实视频风格转换

    本文提出了一种基于深度神经网络的算法，通过将图像的语义有意义的本地区域的艺术风格转移至目标视频的本地区域，同时保持其照片般的逼真性，并通过噪声和时间损失来优化视频的语义标签和平滑转换风格，最终实现一种能够自动生成视觉媒体的风格迁移方法。

    Oct, 2020

  • 使用少量数据分块训练的交互式视频风格化

    本文提出了一种基于学习的视频样式化方法，可以将风格从少数几个所选关键帧传播到序列的其余部分，实现了实时推理和时态一致性等优点。

    Apr, 2020

  • 光流蒸馏：实现高效稳定视频风格转移

    本文提出了一种通过知识蒸馏范式学习轻量级视频风格转移到提高稳定性的方法，并采用两个教师网络，一个使用光流，另一个不使用，通过它们的输出差异，采用蒸馏方法训练目标学生网络，同时采用低秩蒸馏损失来稳定学生网络的输出，实验证明我们的学生网络不需要光流模块即可生成稳定视频，并比教师网络运行速度更快。

    Jul, 2020

  • 通过同步多帧扩散实现高精细和时间一致的视频风格化

    提出了一种基于文本引导的视频风格化方法，通过同步多帧扩散框架来维持视觉细节和时间一致性，实现了视觉细节和时间一致性的生成高质量和多样性的结果。

    Nov, 2023

  • 视频和球面图像的艺术风格转换

    本文提出了两种计算机视觉算法对图像和视频进行风格迁移，第一种是根据 Gatys 算法进行能量最小化的图像风格转移技术，针对图像中的规模和遮挡等问题提出了改进，第二种是将视频风格迁移建模为一个学习问题，使用深度学习网络和新的训练程序使其在几乎实时的情况下实现任意长度的视频稳定风格转移，最后还介绍了如何将这些方法应用于 360 度图像和视频。

    Aug, 2017

  • 交互式人物控制的在线运动风格转移

    本研究提出了一种基于神经网络的端到端模型，可在用户控制下实时生成和转换不同风格的运动，无需手工制作的相位特征，在游戏系统中易于训练和部署，并从实验三个方面，即准确性，灵活性和多样性进行了评估，表现出令人满意的结果。

    Mar, 2022