CVPRApr, 2024

视频稳定的 3D 多帧融合

PDF
TL;DR本文介绍了一种名为 RStab 的视频稳定化新框架，它通过体积渲染集成了三维多帧融合。我们引入三维多帧视角来生成稳定图像，解决了全帧生成和结构保留的挑战。该框架核心在于稳定渲染（SR）模块，在图像融合的基础上还融合了特征。通过投影将多帧的特征和颜色进行变形和融合，生成稳定图像。此外，我们引入自适应射线范围（ARR）模块来集成深度先验，自适应定义投影过程的采样范围。同时，我们提出了色彩校正（CC）辅助几何约束和光流以实现准确的颜色聚合。多亏了这三个模块，我们的 RStab 在视野范围、图像质量和视频稳定性等各种数据集上展现出卓越的性能。
发现论文，激发创造
  • 全帧视频稳定的混合神经融合

    本研究提出了一种帧综合算法实现了全帧视频稳定，该方法通过估计密集的变形场，并通过融合变形内容生成稳定的帧，该方法通过基于学习的混合空间融合减轻了由光流不精确和快速移动物体导致的伪影，并通过 NUS、自拍和 DeepStab 视频数据集验证了该方法的有效性，实验结果表明其优于先前的视频稳定方法。

    Feb, 2021

  • 迭代优化快速全帧视频稳定化

    通过迭代优化学习的方法，我们提出了一种基于合成数据集的视频稳定化方法，其中包括两个交互子模块：运动轨迹平滑和全帧修复。我们将视频稳定化问题转化为减少运动轨迹中颤动的数量的问题，并通过固定点理论保证收敛性，从而在计算速度和视觉质量上实现了突出的优势。

    Jul, 2023

  • Hololens 相机远程协作图像稳定化

    本文提出了一个两阶段流程来解决增强现实头戴设备中遇到的观看体验不佳的问题，其中包括离线室内环境的三维重建和使用增强视角方法的增强渲染。通过实验和评估，我们发现基于几何的增强视角方法具有更好的渲染效果，并使用结构相似性指数（SSIM）和峰值信噪比（PSNR）等指标进行量化验证。

    Apr, 2023

  • 用 GPU 加速的实时视频拼接的色彩校正和帧变形

    本文提出了一个实时系统，将多个视频序列拼接成全景视频，该系统基于 GPU 加速的颜色校正和帧变换，无需准确的相机参数。我们扩展了传统的 2D-Matrix (2D-M) 颜色校正方法和一种基于时空 3D-Matrix (3D-M) 的颜色校正方法进行局部区域的重叠处颜色平衡，并使用粗糙相机标定给出的成对单应矩阵进行全局变形，然后根据光流进行准确的局部变形。实验结果表明，我们的系统能够实时生成高质量的全景视频。

    Aug, 2023

  • 消除非监督在线视频拼接的扭曲晃动

    提出了一种新的方法，StabStitch，用于同时实现视频拼接和视频稳定化，通过整合空间和时间变形，优化拼接轨迹，解决了视频拼接中的抖动问题，提高了场景稳定性和实时性。

    Mar, 2024

  • 基于深层迭代框架插值的全帧视频稳定

    本文介绍了一种基于深度学习的视频稳定技术，通过帧间插值技术生成中间帧实现在保持完整画面的同时避免剪切和失真。该方法可在近实时运行。与现有方法相比，该方法可以显著提高稳定效果并在无监督的情况下进行端到端的训练。

    Sep, 2019

  • 增强稳定视角合成

    本文介绍了一种基于多视角几何基础的方法，旨在提高自由移动相机拍摄图像的新观点综合效果。该方法利用多视角立体匹配和单目深度信息的互补特性以及基于多重旋转平均图优化来联合优化场景深度和相机位姿，并综合聚合整个场景的特征以提高视景综合效果。本文丰富的评估表明，该方法较之现有技术提高了相当多的综合效果。

    Mar, 2023

  • 学习时空隐式神经表示以进行事件引导的视频超分辨率

    本文提出一种新的方法，利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复，实验结果表明，该方法显著超过以往技术。

    Mar, 2023

  • 鲁棒等变多视角运动结构恢复（RESFM）

    多角度视图下的运动结构是一个基础且具有挑战性的计算机视觉问题，本文提出了一种基于深度学习的方法，利用矩阵等变体结构实现了从大量图像集合中同时恢复相机姿态和三维场景结构。通过添加一个适应于处理异常值的内禀 / 外禀分类模块并添加一个鲁棒的捆绑调整步骤，我们的方法可以成功地应用于包含常见启发式方法提取的具有许多异常值的大型图像集合的现实场景。

    Apr, 2024

  • 稳定视角合成

    该研究提出了一种名为 Stable View Synthesis（SVS）的方法，利用结构从运动和多视角立体技术生成几何脚手架，并通过处理每个点的方向特征向量合成新的特征，再用卷积网络从合成的特征张量中渲染出目标图像，实现获取展示场景并进行合成视图的能力，并在三个不同世界数据集上得到了优异的性能表现。

    Nov, 2020