CVPRApr, 2024

带有中间畸变流估计的卷帘快门校正

PDF
TL;DR本文提出了一种新框架，通过反向扭曲操作直接估计失真流并修正滚动快门（RS）图像，通过全局关联流注意机制初步估计初始失真流和全局快门特征，并通过粗糙到精细的解码器层进行进一步优化，实验证实了该方法的有效性，在各个基准测试中优于现有方法同时保持高效性。
rolling shutter correctiondistortion flowglobal shutterundistortion flow estimationbackward warping operation
发现论文，激发创造
  • 快门滚动感知差分 SfM 和图像矫正

    本文提出了一种改进的运动结构法（SfM）算法，该算法考虑了无论 Rolling Shutter（RS）的影响，都能够估计两个连续帧的相对姿态，并给出了用于复原 Rolling Shutter 相机的相对姿态的 9 点算法，使用该算法的图像矫正可产生高质量的全局快门（GS）图像和 3D 重建结果。

    Mar, 2019

  • 双重反向畸变技术恢复滚动快门图像

    本文提出了一种基于双重滚动快门相机捕捉的成像方法，通过迭代学习速度场来生成双重光流序列，以此提取全局快门帧序列。IFED 模型被证明在处理不同读取设置和带有相机运动和物体运动的动态场景数据方面具有比当前最先进方法更好的表现。

    Mar, 2022

  • 学习适应性变形用于真实世界的卷帘快门校正

    本文提出了一个实现滚动快门矫正的数据集 BS-RSC 和相应的模型。该模型具有自适应扭曲和适应性变形，可以将学习到的 RS 特征自适应地扭曲成全局快门对应物并重建成高品质的全局快门帧。实验结果表明，该方法有效，并且我们的数据集可以提高模型在现实情况下消除 RS 效应的能力。

    Apr, 2022

  • 使用扩散模型进行单张图像滚动快门消除

    通过扩散技术和设计的补丁注意力模块，我们提出了 RS-Diffusion - 第一个基于扩散模型的单帧滚动快门（RS）校正方法。我们还提出了 RS-Real 数据集，其中包括被 RS 坏像帧以及通过相应的惯性测量单元（IMU）陀螺仪数据校正成的 GS（Global Shutter）基准图像对。实验证明，我们的 RS-Diffusion 超过了之前的单帧 RS 校正方法。我们的方法和提出的 RS-Real 数据集为推进 RS 校正领域奠定了坚实的基础。

    Jul, 2024

  • 神经全局快门：学习从具有全局复位功能的卷帘相机中恢复视频

    本文研究使用全局复位的卷帘快门（RSGR）来纠正摄像机运动带来的几何畸变，通过开发包含时空设计的改进算法和现有图像到图像翻译算法，利用光学系统实现视频畸变纠正，并在不改变硬件的情况下，取得比目前的 RS 解决方案更高效和有效的结果。

    Apr, 2022

  • 适用于滚动快门影像的事件引导式视频帧插值的自监督学习

    通过事件相机数据来指导自监督学习框架，以非线性稠密的 3D 时空信息估计位移场 (DF) 来应对回滚快门帧 (RS) 采集运动物体时的失真，实现相机任意帧速率插值 (VFI) 和 RS 帧到 GS 帧的互相重构。

    Jun, 2023

  • 自监督学习让双重反转卷帘快门图像栩栩如生

    本文提出了一个基于双向反向 RS 图像进行自监督训练的 DRSC 网络框架 ——SelfDRSC，该框架可以校正特定的图像捕获方法 ——RS 的失真，并可训练生成高帧率 GS 视频，实验结果表明 SelfDRSC 对真实场景的 RS 图像处理效果更佳。

    May, 2023

  • SUNet：用于 Rolling Shutter 矫正的对称去畸变网络

    本文介绍了一种基于深度学习的滚动快门校正方法，使用两个相邻帧的图像进行矫正，并在全局快门图像的中间时间点上预测出该图像，相较于现有方法具有更好的效果。

    Aug, 2021

  • 滚动快门图像和事件的自监督场景动态恢复

    探索场景动态恢复的一个事件感知、自监督的方法，其中用于预测任意时间间隔内像素间的动态的 E-IC 压缩器，是该领域中最先进的方法之一，旨在应对摄像机 / 物体运动的先验知识不可用时，由缺少动态信息造成的严重不适定问题。

    Apr, 2023

  • 滚动快门相机的上下文感知视频重建

    本文提出了一种上下文感知的全局快门视频重建体系结构，通过估计双边运动场，引导全局快门帧合成，产生任意时间高保真度的全局快门视频帧，并在合成任务的相关任务中提供简单而有效的全局快门帧初始化。

    May, 2022