Aug, 2023

用 GPU 加速的实时视频拼接的色彩校正和帧变形

PDF
TL;DR本文提出了一个实时系统，将多个视频序列拼接成全景视频，该系统基于 GPU 加速的颜色校正和帧变换，无需准确的相机参数。我们扩展了传统的 2D-Matrix (2D-M) 颜色校正方法和一种基于时空 3D-Matrix (3D-M) 的颜色校正方法进行局部区域的重叠处颜色平衡，并使用粗糙相机标定给出的成对单应矩阵进行全局变形，然后根据光流进行准确的局部变形。实验结果表明，我们的系统能够实时生成高质量的全景视频。
发现论文，激发创造
  • 消除非监督在线视频拼接的扭曲晃动

    提出了一种新的方法，StabStitch，用于同时实现视频拼接和视频稳定化，通过整合空间和时间变形，优化拼接轨迹，解决了视频拼接中的抖动问题，提高了场景稳定性和实时性。

    Mar, 2024

  • 面向真实世界全景图像生成的弱监督拼接网络

    提出了一种基于深度学习的缝合模型，采用弱监督学习机制训练，实现对多个鱼眼图像的 360 度输出，通过色彩一致性校正、畸变校正和图像融合实现，其训练采用感知损失和 SSIM 损失函数，在两个真实的缝合数据集上进行了有效性验证。

    Sep, 2022

  • 线性相机阵列的视频拼接

    本文提出了一种广角摄像阵列的稳定视频拼接算法，将拼接问题转化为学习一个平滑的空间插值以及介绍了一种快速推扫插值层和一种新颖的推扫拼接网络，并证明该方法的性能显著优于现有技术，具有虚拟现实、沉浸式远程交互、自动驾驶和视频监控等领域的广泛应用。

    Jul, 2019

  • 多摄像头环视系统的参数融合技术

    在周视系统中，图像色彩和亮度由于多个相机各自应用自动白平衡（AWB）和全局色调映射（GTM），可能存在差异。为了改善拼接算法中相邻相机之间的颜色过渡，我们提出了一种调和算法，通过在拼接前调整多个相机的色彩和亮度，使拼接后的图像在相邻相机之间具有更平滑的颜色和亮度过渡。我们提出的调和算法包括 AWB 调和和 GTM 调和，利用图像信号处理器（ISP）的 AWB 和 GTM 元数据统计。实验结果表明，我们提出的算法在可视质量和计算成本方面优于全局色彩转换方法。

    Jun, 2024

  • 通过分割引导的多单应性变换，实现容忍视差的图像拼接

    通过使用图像分割引导的多单应性变换，本文提出了一种新颖的图像拼接方法，解决了图像间的大视差问题，并且在公共数据集上的综合实验结果表明，相较于现有方法，我们的方法具有更高的对齐精度。

    Jun, 2024

  • 提高场景理解能力的鲁棒多模态图像拼接

    该研究论文提出了一种独特且综合的图像拼接流程，利用 OpenCV 的拼接模块，通过集成基于特征匹配、变换估计和融合技术，实现了无论图像间的光照、尺度或方向差异如何，都能产生顶级质量的全景视图，并在多种数据集上进行测试，发现其在增强场景理解和找到实际应用方面非常有效。

    Dec, 2023

  • 多重配准的稳健图像拼接

    该论文提出了一种改进的全景图创建算法，采用多重图像配准的方法，提高了深度差异和物体运动场景下的图像拼接的精度，实验结果表明该算法在存在较大运动或视差时能够生成明显更好的全景图。

    Nov, 2020

  • 全帧视频稳定的混合神经融合

    本研究提出了一种帧综合算法实现了全帧视频稳定，该方法通过估计密集的变形场，并通过融合变形内容生成稳定的帧，该方法通过基于学习的混合空间融合减轻了由光流不精确和快速移动物体导致的伪影，并通过 NUS、自拍和 DeepStab 视频数据集验证了该方法的有效性，实验结果表明其优于先前的视频稳定方法。

    Feb, 2021

  • 全景式视频的运动结构

    本文提出了一种新颖的运动结构算法用于重建无需相机固有标定的全景视频，通过建立一个先验假设并提出三种新的相对姿态方法来实现物体重建，并且采用相机位姿的软先验来调整优化问题，实现多视角立体检测。

    Jun, 2019

  • 手持相机图像拼接和矫正

    本文提出了一种新的微分单应矩阵，能够在滚动快门摄像机中考虑不同的扫描线相机姿态，并演示其在进行 RS 感知的图像拼接和矫正方面的实际应用。

    Aug, 2020