Jun, 2019

深度基于范例的视频着色

PDF
TL;DR提出了首个端到端网络来完成基于示例的视频着色，在保持参考风格的同时实现了时间上的一致性。通过引入循环框架来统一语义对应和颜色传递步骤，利用提供的参考图像来引导每一帧的着色，减少了积累的传播误差，并通过时间一致性损失进一步强制协同着色历史，最终生成稳定性良好且逼真的视频，实验表明，与现有技术相比，在定量和定性方面都具备优越性。
发现论文，激发创造
  • 基于语义对应的时序一致自动视频上色

    该研究提出了一种新的视频着色框架，它将语义对应引入自动视频着色中以保持长程一致性，通过自动着色参考图像来监督整个着色过程，并且引入了语义对应网络和图像着色网络以保持临近帧和长期帧的时间一致性，实验证明该方法在维持时序一致性方面优于其他方法。

    May, 2023

  • 深度范例化彩色化

    本篇论文提出了一种基于深度学习的局部着色方法，通过卷积神经网络，将灰度图像映射到输出彩色图像，该方法不仅可以获得良好的泛化性能，而且用户可以通过提供不同的参考图像来实现自定义结果，同时本文提出的图像检索算法可以自动推荐参考图像，有效地减少了手动选择的工作量。最后，本文还将该方法推广到了视频着色任务中。

    Jul, 2018

  • 深度视频颜色传播

    本研究提出了一框架，结合了本地和全局策略，来利用深度学习技术实现视频中颜色的传播，使得颜色的传播更加稳定，并且利用了语义信息的特点，具有很高的优越性。

    Aug, 2018

  • 具有自我正则化和多样性的全自动视频着色

    本文提出了一种全自动的视频着色方法，该方法结合自我正则化和差异性。通过双边和时间空间中定义的自我正则化损失，可以训练颜色分化网络和空间临近颜色调整网络，该方法在感知损失和差异性的帮助下区分了多种解决方案的模式。实验结果表明，该方法的表现优于现有的视频着色方法。

    Aug, 2019

  • FlowChroma -- 一种用于视频上色的深层递归神经网络

    本文提出一种基于深度递归编码器 - 解码器的自动化视频着色框架，以维持视频每一帧的颜色连贯性和语境一致性，其中采用高级语义特征提取器自动识别情景背景和物体，并融合空间和时间特征以优化视觉效果。

    May, 2023

  • 基于深度范例的语义稀疏上色网络

    本文提出了一种 Semantic-Sparse Colorization Network (SSCN) 方法，实现了基于模板的着色的正确对应，该方法在定量和定性评估方面优于现有方法。

    Dec, 2021

  • 学习盲视频时间一致性

    本文利用深度递归神经网络，结合短期、长期以及感知上的损失，为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入，生成时间上连贯的视频的方法，实现了对多种需求的处理，且无需光流计算，具有实时性能。

    Aug, 2018

  • 潜在着色：基于潜在扩散的说话人视频着色

    通过利用经过优化的潜在扩散模型的强大能力以及具备时间一致性机制，我们可以改善自动视频上色的性能，解决时间不一致性的挑战。

    May, 2024

  • 基于混合生成对抗网络的视频着色技术 VCGAN

    提出了一种混合循环视频着色方案，使用 VCGAN，通过全局特征提取器和占位符特征提取器增强连续性和时空一致性，在颜色鲜艳和图像连续性之间取得良好平衡，并在彩色视频质量和时空一致性方面比现有方法产生了更高质量的结果。

    Apr, 2021

  • 基于 3D 条件生成对抗网络的自动视频上色

    本文提出一种利用生成对抗网络进行视频自动上色的方法，采用三维卷积层和反卷积层进行操作并结合亮度信息，在黑白电影数据集上获得成功，使用新提出的指标对上色结果的一致性进行数值验证。

    May, 2019