Jun, 2023

提升视频上色的测试时间调校

PDF
TL;DR通过测试时间调整，我们提出了一种有效的方法来增强视频彩色化的性能，利用参考帧构建额外的训练样本，相比基准线，在平均 PSNR 上实现了 1~3 dB 的性能提升。
deep learningvideo colorizationoverfittingtest-time tuningpsnr
发现论文，激发创造
  • 深度基于范例的视频着色

    提出了首个端到端网络来完成基于示例的视频着色，在保持参考风格的同时实现了时间上的一致性。通过引入循环框架来统一语义对应和颜色传递步骤，利用提供的参考图像来引导每一帧的着色，减少了积累的传播误差，并通过时间一致性损失进一步强制协同着色历史，最终生成稳定性良好且逼真的视频，实验表明，与现有技术相比，在定量和定性方面都具备优越性。

    Jun, 2019

  • 潜在着色：基于潜在扩散的说话人视频着色

    通过利用经过优化的潜在扩散模型的强大能力以及具备时间一致性机制，我们可以改善自动视频上色的性能，解决时间不一致性的挑战。

    May, 2024

  • 预训练文本转图像扩散模型进行视频上色

    本文介绍了 ColorDiffuser：一种预训练的文本到图像潜在扩散模型的视频上色适应方法，包括颜色传播关注和交替采样策略两种技术，有效提高了模型在视频上色中的色彩保真度、时间上的一致性以及视觉质量，实验表明该方法优于现有方法。

    Jun, 2023

  • 深度着色

    本文提出一种高质量的全自动上色方法，利用深度学习技术和巨大规模的参考数据库实现图像上色，通过双边滤波后处理和自适应图像聚类技术来确保无伪影的质量，并在各方面优于现有算法。

    Apr, 2016

  • 基于语义对应的时序一致自动视频上色

    该研究提出了一种新的视频着色框架，它将语义对应引入自动视频着色中以保持长程一致性，通过自动着色参考图像来监督整个着色过程，并且引入了语义对应网络和图像着色网络以保持临近帧和长期帧的时间一致性，实验证明该方法在维持时序一致性方面优于其他方法。

    May, 2023

  • 深度范例化彩色化

    本篇论文提出了一种基于深度学习的局部着色方法，通过卷积神经网络，将灰度图像映射到输出彩色图像，该方法不仅可以获得良好的泛化性能，而且用户可以通过提供不同的参考图像来实现自定义结果，同时本文提出的图像检索算法可以自动推荐参考图像，有效地减少了手动选择的工作量。最后，本文还将该方法推广到了视频着色任务中。

    Jul, 2018

  • 具有自我正则化和多样性的全自动视频着色

    本文提出了一种全自动的视频着色方法，该方法结合自我正则化和差异性。通过双边和时间空间中定义的自我正则化损失，可以训练颜色分化网络和空间临近颜色调整网络，该方法在感知损失和差异性的帮助下区分了多种解决方案的模式。实验结果表明，该方法的表现优于现有的视频着色方法。

    Aug, 2019

  • 深度视频融合中的颜色映射一致性

    本文介绍了如何构建一个关于视频调和的新公共数据集 HYouTube，以进行关于时域一致性、颜色映射等方面的实验。并提出了一种基于颜色映射一致性的框架来进行相关研究。

    May, 2022

  • 基于 3D 条件生成对抗网络的自动视频上色

    本文提出一种利用生成对抗网络进行视频自动上色的方法，采用三维卷积层和反卷积层进行操作并结合亮度信息，在黑白电影数据集上获得成功，使用新提出的指标对上色结果的一致性进行数值验证。

    May, 2019

  • 深度视频颜色传播

    本研究提出了一框架，结合了本地和全局策略，来利用深度学习技术实现视频中颜色的传播，使得颜色的传播更加稳定，并且利用了语义信息的特点，具有很高的优越性。

    Aug, 2018