Jun, 2023

被遮挡视频预测的快速傅里叶 Inception 网络

PDF
TL;DR为了解决视频帧预测任务中的连续复杂运动和场景遮挡问题，我们开发了基于全卷积快速傅里叶 Inception 网络（FFINet）的视频预测方法，该方法包括遮挡修复器和时空转换器等两个组件，并将恢复损失纳入目标函数进行模型优化来生成更逼真、高质量的未来帧。
video predictionocclusion inpainterspatiotemporal translatorfast fourier inception networksrecovery loss
发现论文，激发创造
  • CBinfer：利用帧间局部性加速卷积神经网络对视频流的推断

    采用新算法利用空间 - 时间稀疏性在计算机视觉中取得了高能效，即使在嵌入式设备上不需要重新训练网络，也可在语义分割应用中达到快速且准确的实时推断

    Aug, 2018

  • 用快速傅立叶变换优化卷积神经网络在目标识别中的应用

    该研究提出使用基于 FFT 的 U-Net 对卷积神经网络中的图像卷积成本进行改进，并应用于 BBBC 数据集，成功地将训练时间从 600-700ms / 步缩短至 400-500ms / 步，以及在 IoU 指标上取得了显著的提高。

    Oct, 2020

  • 基于时空特征的遮挡像素重建端到端框架用于改进行人再识别

    本研究提出了一种有效的 RGB 图像 / 视频的遮挡检测和重建框架，采用卷积神经网络进行遮挡检测，Conv-LSTM 和自编码器用于重建遮挡帧和使用条件生成对抗网络微调和修复重建的 RGB 帧，通过与其他先进技术比较分析，我们的方法在各种数据集上展现出鲁棒性，成为现实生活监控系统应用的优秀选择。

    Apr, 2023

  • 使用 Transformer 的视频帧插值

    使用 Transformer 和跨尺度窗口关注机制的视频帧插值方法，在多个基准测试上达到了新的最先进结果。

    May, 2022

  • 大规模随机循环神经网络的高保真视频预测

    该研究通过进行大规模的实证研究，针对视频帧预测问题，提出了一种不同于以往手工设计架构的方法：尽可能地降低归纳偏差，同时最大化网络容量，该方法表现良好并在三个不同数据集上进行了验证：建模物体交互、建模人类运动和建模汽车驾驶。

    Nov, 2019

  • 渐进式时间特征对齐网络用于视频修复

    该研究提出一种基于渐进式时间特征对齐网络的视觉修复方法，通过充分利用光流信号从相邻的视频帧中提取特征来消除时空对齐中的问题，实现了对视频内容的自然修复和优化，进而在多个数据集上获得了目前的最佳表现。

    Apr, 2021

  • FPANet: 使用基于频率的帧级后对齐技术进行视频去褶皱演示

    本文提出了一种名为 FPANet 的模型，该模型在频率和空间域中学习滤波器，通过学习提取帧不变特征和输出更好质量的时间一致图像，改善了移除各种大小 Moire 图案的恢复质量，并用公开数据集展示了其优越性。

    Jan, 2023

  • 基于全卷积递归网络的视频分割

    本文提出了基于卷积门控循环单元网络的在线视频分割方法，利用滑动窗口对时间数据进行处理，并在变化检测数据集上进行实验，相比于常规的全卷积神经网络有 5.5% 的性能提升。

    Jun, 2016

  • 可塑性框架网络

    提出了一种名为 Frame Flexible Network（FFN）的通用框架，旨在解决现有视频识别算法只针对不同帧数的输入进行不同训练流程的问题以及通过 Multi-Frequency Alignment（MFAL）和 Multi-Frequency Adaptation（MFAD）技术学习时间频率不变表示来加强其表示能力，从而实现模型在不同帧上进行评估和减少存储多个模型的内存成本。在各种体系结构和流行基准上进行的全面实证验证充分证明了 FFN 的有效性和通用性。

    Mar, 2023

  • 动作检测的预测 - 校正网络

    本研究提出了一种基于线性动态系统和非线性映射理论的预测 - 纠正神经网络模型，能够自适应地关注‘惊奇’的视频帧，优化学习效率。研究表明，该模型在三个挑战数据集上的表现与双流网络相当，而无需计算昂贵的光流技术。

    Apr, 2017