Nov, 2020

通过观看不稳定视频学习视频稳定技术

PDF
TL;DR本文提出了一种基于深度非监督学习的视频稳定方法 DUT，该方法通过将传统稳定器的任务分解为多个子任务，并借助 DNNs 的表征能力来处理现实世界场景中的挑战，以及利用关键点和网格顶点的时空一致性来制定训练目标，从而实现了无监督训练，并在公共基准测试中表现优异。
video stabilizationdeep unsupervised learningdnnstrajectory estimationtrajectory smoothing
发现论文，激发创造
  • 从视频中无监督学习物体结构和动力学

    本研究针对无监督的视频对象结构和动态提取及预测的挑战，采用基于关键点的图像表示方法，并在关键点的动力学模型上进行学习，以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示，并在多个数据集和任务中进行了评估和验证。

    Jun, 2019

  • 神经视频深度稳定器

    本研究提出了一种名为神经视频深度稳定器的插拔式深度图像处理框架及其所需的大规模数据集 —— 野外视频深度数据集，该方法通过实现视频中深度的稳定，进一步提高了其精度和效率，具有较高的实际应用价值。

    Jul, 2023

  • 消除非监督在线视频拼接的扭曲晃动

    提出了一种新的方法，StabStitch，用于同时实现视频拼接和视频稳定化，通过整合空间和时间变形，优化拼接轨迹，解决了视频拼接中的抖动问题，提高了场景稳定性和实时性。

    Mar, 2024

  • 无监督深度视频降噪

    本文提出了一种无监督的深度学习视频去噪方法 UDVD，可以通过单个短暂的有噪声视频进行训练，在显微镜检查、荧光显微镜和电子显微镜图像处理等领域具有广泛的应用前景，且无需显式的运动补偿，自适应性能比传统算法更高。

    Nov, 2020

  • 迭代优化快速全帧视频稳定化

    通过迭代优化学习的方法，我们提出了一种基于合成数据集的视频稳定化方法，其中包括两个交互子模块：运动轨迹平滑和全帧修复。我们将视频稳定化问题转化为减少运动轨迹中颤动的数量的问题，并通过固定点理论保证收敛性，从而在计算速度和视觉质量上实现了突出的优势。

    Jul, 2023

  • 无监督室内深度估计的自校正网络

    提出了一种基于自动矫正网络的数据预处理方法，解决了手持场景下旋转运动对单视角深度估计的干扰问题，并针对不同数据集验证了该方法的有效性及通用性。

    Jun, 2020

  • 可变形视频转换器

    本研究提出了 Deformable Video Transformer，利用动态预测小型视频数据块，根据运动信息决定模型在哪里观察视频，并优化变形注意机制，以获得更高的精度和更低的计算成本。

    Mar, 2022

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 基于深层迭代框架插值的全帧视频稳定

    本文介绍了一种基于深度学习的视频稳定技术，通过帧间插值技术生成中间帧实现在保持完整画面的同时避免剪切和失真。该方法可在近实时运行。与现有方法相比，该方法可以显著提高稳定效果并在无监督的情况下进行端到端的训练。

    Sep, 2019

  • StableVQA：一种基于深度学习的视频稳定性无参考质量评估模型

    构建了一个新的数据库 StableDB，包含了 1,952 个多样性抖动的 UGC 视频，每个视频都有 34 位评审者对视频稳定度的评分，并通过设计了一个名为 StableVQA 的新型 VQA-S 模型，该模型包括三个特征提取器以获取光流、语义和模糊特征，并通过回归层预测最终的稳定得分。广泛实验证明，StableVQA 与主观意见的相关性高于现有的 VQA-S 模型和通用 VQA 模型。

    Aug, 2023