CVPRFeb, 2020

探究时空多频分析用于实现高保真度和时空一致性的视频预测

PDF
TL;DR本文提出基于多级小波分析的视频预测网络，以应对图像失真和时间不一致等现有预测模型所存在的问题，大量实验结果表明，本方法相较其他最先进的方法，具有更高的保真度和时间一致性。
video predictionmulti-frequency analysiswavelet analysistemporal consistencyimage distortion
发现论文，激发创造
  • MultiWave: 基于小波分解的多尺度深层网络模型用于多变量时间序列预测

    本文提出了 MultiWave 框架，采用小波分解对多变量时间序列数据进行频率分组，并结合门控机制来提高各种深度学习模型的性能。多个实验表明，MultiWave 可以准确地识别信息丰富的频率带，提高模型性能，并提供有价值的应用见解。

    Jun, 2023

  • 基于流场的静态图像空时视频预测

    本研究探讨基于单张静态图片生成连续多个未来视频帧的问题，提出了基于多流模型预测和合成的方法。通过 3D 卷积学习了空间 - 时间关系，预测的结果更加接近真实视频的流形形态，相比现有方法性能更好、多样性更强且能获得更高的人类视觉评估。

    Jul, 2018

  • 基于空间分解和时间融合的基于学习的视频压缩的帧间预测

    本文提出了基于空间分解和时间融合的学习视频压缩的帧间预测方法，通过处理运动不一致性和遮挡现象，结合长短时时间上下文融合，提高了视频压缩的帧间预测准确性。实验证明，所提出的编码器在所有常见测试数据集上的 PSNR 和 MS-SSIM 上优于 H.266 / VVC 的参考软件。

    Jan, 2024

  • 深度多尺度视频预测：超越均方误差

    通过卷积网络、对抗训练和特征学习等策略，实现了未来图像预测

    Nov, 2015

  • 小波域动态帧插值

    提出了一种名为 WaveletVFI 的新型两阶段帧插值框架，通过轻量级运动感知网络估计中间光流，然后使用流对齐的上下文特征和稀疏卷积预测多尺度小波系数，以实现高效的目标帧重构，通过嵌入分类器学习动态阈值来控制计算，从而实现高达 40% 的计算减少，保持了相似的准确性。

    Sep, 2023

  • 利用物理引导和频率增强的循环神经网络增强时空预测

    该研究论文提出了一种物理引导的神经网络，利用频率增强的傅里叶模块和矩损失来增强模型估计时空动态的能力，并提出了具有物理约束的自适应二阶龙格 - 库塔方法，以更准确地建模物理状态。实验结果表明，该模型在时空预测和视频预测任务中表现出色，在多个数据集上具有最佳性能，而参数数量却更少。

    May, 2024

  • 频域中的时域一致的人类动作转移研究

    本文提出了一种名为 FreMOTR 的基于频域的人体运动转移框架，通过深入分析自然和合成视频在空间维度和时间维度的频率差异，利用频域外观正则化和时间频率正则化模块，有效缓解空间伪影和时间不一致性，进一步提高了合成视频帧级别视觉质量和时间一致性指标。

    Sep, 2022

  • 视频模型中的动态时间滤波

    该研究提出了一种名为 Dynamic Temporal Filter (DTF) 的方法，能够在频率域进行空间感知的时间建模，并具有较大的时间感受野，可将 DTF 模块嵌入 ConvNets 和 Transformer 中，实验结果表明其优越性。

    Nov, 2022

  • 学习语义感知动态视频预测

    该研究提出了一种架构和训练方案，通过显式地建模去除和捕捉视频中语义一致的区域的演变来预测视频帧。

    Apr, 2021

  • 基于时空显著性检测器的无监督视频分析

    本研究基于频谱分析提出了一种新方法，可用于检测视频中的时间空间视觉显著性，具有高效和易于实现的特点；并且探讨了这种显著性如何应用于检测异常情况和兴趣点，实验结果证明了该方法在这些任务中的有效性。

    Mar, 2015