用于视频超分辨率的可变形三维卷积
该论文提出了一种有效的三维卷积神经网络 3DSRnet,用于视频超分辨率,通过利用空时相干性来提高预测高分辨率帧的准确性,而且在不需要预处理的情况下优于最先进的方法,提出了一种新的处理场景变化的方法。
Dec, 2018
该研究提出了一种新型基于深度学习的视频超分辨率算法 DKSAN,该算法利用了新设计的变形卷积对齐和可形变内核空间注意力模块,更好地利用了时空冗余来促进不同层之间的信息传播,并在实验中展示了比现有技术 EDVR 更好的超分辨率效果。
Oct, 2020
本研究提出一种新的快速时空残差网络(FSTRN),以采用 3D 卷积进行视频超分辨率任务,以增强性能并保持低计算负载,并通过基于交叉空间的残余学习来减轻特征融合和提升部分的计算机负担, 并且在基准数据集上的广泛评估和比较验证了所提出方法的优点,并证明了所提出的网络显着优于当前最先进的方法。
Apr, 2019
本论文提出一种新的视频超分辨率算法,即同时处理多个连续视频帧的 spatio-temporal sub-pixel convolution networks,并采用了创新性的运动补偿和视频超分辨率算法,相比于单帧模型,网络可以减少 30%的计算成本同时保持相同的质量,或者在相似的计算成本下提供 0.2dB 的增益。在公开数据集上的结果表明,该算法在精度和效率方面均超过当前的最新性能。
Nov, 2016
本文提出了一种新的参数化表示 Deep Parametric 3D Filters (DP3DF),它融合了局部时空信息,并通过共享主干学习动态剩余帧,使得在单个编码器 - 解码器网络中同时实现降噪、光照增强和视频超分辨率,该方法在各种具有挑战性的真实数据集上始终优于最佳的现有方法,具有极快的运行时间。
Jul, 2022
使用 4D 卷积神经网络,通过稀疏张量和广义稀疏卷积提供的广泛高维函数,实现了针对 3D 视频的时空感知,并通过提出的混合核和三边静态条件随机场,优化了 7D 时空色度空间中的一致性问题。实验表明,与 2D 或 2D-3D 混合方法相比,只使用广义 3D 稀疏卷积的卷积神经网络可以获得更好的性能。此外,我们还表明,在处理 3D 视频时,4D 时空卷积神经网络不仅更加鲁棒,而且有时比 3D 卷积神经网络更快。
Apr, 2019
本文提出了一种利用 4 个 Pseudo-3D 残差块构建的 Pseudo-3D Residual Net (P3D ResNet) 架构,并将其应用于视频分类问题中,克服了 3D CNN 的计算成本及内存需求高的问题,通过将空间卷积和时间卷积组合的方式显著提高了视频图像识别和分类的准确性。
Nov, 2017
通过在大规模监督视频数据集上使用训练的深度三维卷积神经网络(3D ConvNets)提出了一种简单而有效的时空特征学习方法。我们的成果有三个:1)相对于 2D ConvNets,3D ConvNets 更适用于时空特征学习;2)所有层中具有小的 3x3x3 卷积核的同构体系结构是 3D ConvNets 中表现最佳的体系结构之一;3)我们学到的特征 —— 即 C3D(卷积 3D)—— 连同一个简单的线性分类器,在 4 个不同的基准测试中优于最先进的方法,并与其他 2 个基准测试中的最佳方法相当。此外,这些特征紧凑:只需 10 维便能在 UCF101 数据集上达到 52.8%的准确率,由于 ConvNets 的快速推理,计算效率也非常高。最后,它们在概念上非常简单易用且易于训练和使用。
Dec, 2014
本文提出了一种基于 3D 全卷积神经网络的编码 - 解码网络结构,将其应用于视频中的显著对象分割。尝试使用全 3D 卷积来处理外观和运动信息从而实现密集视频预测,并通过 3D 全局卷积层和 3D 细化模块进行编码和解码操作。作者将其应用于 DAVIS'16 无监督,FBMS 和 ViSal 数据集基准测试中,结果表明其效果优于现有状态艺术,同时速度更快,能够高效地学习空间 - 时间特征并产生高质量的视频分割掩码。
Aug, 2020
本文提出了一种使用 “时间调制网络” 的方法,结合弯曲卷积和局部时间特征比较模块来处理视频的短期和长期动作线索,以提高低分辨率和低帧率视频的空间和时间分辨率,实验结果表明,该方法的性能优于现有的 STVSR 方法。
Apr, 2021