本论文提出一种新的视频超分辨率算法,即同时处理多个连续视频帧的spatio-temporal sub-pixel convolution networks,并采用了创新性的运动补偿和视频超分辨率算法,相比于单帧模型,网络可以减少30%的计算成本同时保持相同的质量,或者在相似的计算成本下提供0.2dB的增益。在公开数据集上的结果表明,该算法在精度和效率方面均超过当前的最新性能。
Nov, 2016
本文提出了一种利用4个Pseudo-3D残差块构建的Pseudo-3D Residual Net (P3D ResNet)架构,并将其应用于视频分类问题中,克服了3D CNN的计算成本及内存需求高的问题,通过将空间卷积和时间卷积组合的方式显著提高了视频图像识别和分类的准确性。
Nov, 2017
本文提出了一种新型的残差稠密网络(RDN),该网络通过引入残差稠密块(RDB)来充分利用原始低分辨率图像的层级特征,并通过局部特征融合和全局特征融合来稳定更广泛的网络培训,进而在基准数据集上展示了RDN相对于现有最先进的方法所取得的更高性能。
Feb, 2018
该论文提出了一种有效的三维卷积神经网络3DSRnet,用于视频超分辨率,通过利用空时相干性来提高预测高分辨率帧的准确性,而且在不需要预处理的情况下优于最先进的方法,提出了一种新的处理场景变化的方法。
Dec, 2018
本文提出了一种变形3D卷积网络(D3Dnet)来融合来自空间和时间维度的时空信息进行视频超分辨率, 采用变形卷积与3D卷积相结合的方法,具有更好的时空建模能力和运动感知建模灵活性, 实验结果表明D3D在开发时空信息方面非常有效。
Apr, 2020
本文提出了一种新颖的循环残差网络模型用于视频超分辨率,该模型相比于其他几种建模方法具有更高的计算效率和更好的超分辨率效果,取得了当前最好的结果。
Aug, 2020
本文提出了一种使用“时间调制网络”的方法,结合弯曲卷积和局部时间特征比较模块来处理视频的短期和长期动作线索,以提高低分辨率和低帧率视频的空间和时间分辨率,实验结果表明,该方法的性能优于现有的STVSR方法。
Apr, 2021
本文提出一种基于时间差建模的视频超分辨率方法,通过不同的接受野分别处理两个像素子集以提取互补信息,并计算高频域中连续帧的差异来利用中间结果进一步增强SR结果
Apr, 2022
本文提出了一种新的残差本地特征网络 (RLFN) 方法,通过使用三个卷积层进行残差本地特征学习来简化特征聚合,同时伴随着改进的对比损失和训练策略,该方法在保持 SR 的 PSNR 和 SSIM 的同时显著优于所有最先进的高效图像 SR 模型。
May, 2022
通过将低帧率、低分辨率的视频转换为高帧率、高分辨率的视频,时空视频超分辨率技术可以增强视觉体验,并促进更高效的信息传播。我们提出了一种用于时空视频超分辨率的卷积神经网络 (CNN),即GIRNet。通过将具有变形卷积、全局空时信息残差卷积长短期记忆 (convLSTM) 模块的特征级时序插值模块集成到所提出的网络中,以生成高度准确的特征从而提高性能。实验证明,该方法在峰值信噪比、结构相似性指数以及视觉方面优于现有技术。
Jul, 2024