该研究提出了一种新的视频着色框架,它将语义对应引入自动视频着色中以保持长程一致性,通过自动着色参考图像来监督整个着色过程,并且引入了语义对应网络和图像着色网络以保持临近帧和长期帧的时间一致性,实验证明该方法在维持时序一致性方面优于其他方法。
May, 2023
本文提出使用一阶光流和二阶流预测来利用时间相关性进行视频编码,采用一阶段学习方法将流作为连续帧的量化特征包装,然后利用联合空间 - 时间先验条件下的适应性上下文熵编码,并使用 ConvLSTM 逐层嵌入联合先验,分别从自回归空间邻居、共位置超元素和时间邻居中获取。本文的实验评估表明,该方法在常用的测试序列上取得了最先进的表现结果。
Dec, 2019
提出了首个端到端网络来完成基于示例的视频着色,在保持参考风格的同时实现了时间上的一致性。通过引入循环框架来统一语义对应和颜色传递步骤,利用提供的参考图像来引导每一帧的着色,减少了积累的传播误差,并通过时间一致性损失进一步强制协同着色历史,最终生成稳定性良好且逼真的视频,实验表明,与现有技术相比,在定量和定性方面都具备优越性。
Jun, 2019
提出了一种混合循环视频着色方案,使用 VCGAN,通过全局特征提取器和占位符特征提取器增强连续性和时空一致性,在颜色鲜艳和图像连续性之间取得良好平衡,并在彩色视频质量和时空一致性方面比现有方法产生了更高质量的结果。
Apr, 2021
本文提出了一种全自动的视频着色方法,该方法结合自我正则化和差异性。通过双边和时间空间中定义的自我正则化损失,可以训练颜色分化网络和空间临近颜色调整网络,该方法在感知损失和差异性的帮助下区分了多种解决方案的模式。实验结果表明,该方法的表现优于现有的视频着色方法。
Aug, 2019
空间 - 时间变换器 (STT-VC) 是通过整合放松可变形变换器 (RDT)、多粒度预测 (MGP) 模块和基于空间特征分布先验的变换器 (SFD-T) 来提高学习视频压缩 (LVC) 的性能。实验结果表明,该方法相比于现有技术在 BD-Rate 节省上获得了 13.5% 的最佳结果。
Sep, 2023
提出一种新的自监督视频表示学习技术,通过将学习目标分解为两个对比子任务并分层进行,强调空间和时间特征,从而鼓励多尺度理解。通过实验表明,可以将增强作为规则化进行操作来指导网络在对比学习中学习所需的语义,并提出一种方式,使模型可以在多个尺度上分别捕捉空间和时间特征。还介绍了一种克服不同层次上实例不变性差异的方法。将代码公开。
Nov, 2020
该论文提出了一种简单而有效的传播框架,包括轻量级流估计和引导式空间变化卷积方法,实现了视频分割的最优准确度和吞吐量的平衡。
Mar, 2021
本文提出了一种基于多模态框架的文本指导视频时间地基方法,采用 RGB 图像、光流和深度图来提取视频的补充信息并通过 transformers 设计动态融合方案进行交互学习,在 Charades-STA 和 ActivityNet Captions 数据集上实验表明,该方法表现优越。
Jul, 2021
通过利用经过优化的潜在扩散模型的强大能力以及具备时间一致性机制,我们可以改善自动视频上色的性能,解决时间不一致性的挑战。
May, 2024