Dec, 2023

提高场景理解能力的鲁棒多模态图像拼接

PDF
TL;DR该研究论文提出了一种独特且综合的图像拼接流程，利用 OpenCV 的拼接模块，通过集成基于特征匹配、变换估计和融合技术，实现了无论图像间的光照、尺度或方向差异如何，都能产生顶级质量的全景视图，并在多种数据集上进行测试，发现其在增强场景理解和找到实际应用方面非常有效。
multi-modal image stitchingopencv's stitching modulefeature-based matchingtransformation estimationblending techniques
发现论文，激发创造
  • 面向真实世界全景图像生成的弱监督拼接网络

    提出了一种基于深度学习的缝合模型，采用弱监督学习机制训练，实现对多个鱼眼图像的 360 度输出，通过色彩一致性校正、畸变校正和图像融合实现，其训练采用感知损失和 SSIM 损失函数，在两个真实的缝合数据集上进行了有效性验证。

    Sep, 2022

  • 多光谱图像拼接基于空间图推理

    利用图卷积网络模型与多光谱图像融合技术，实现了在不同视角下对多光谱图像进行对齐和集成，生成广角视场的稳定性高、可靠性强的场景。

    Jul, 2023

  • 多重配准的稳健图像拼接

    该论文提出了一种改进的全景图创建算法，采用多重图像配准的方法，提高了深度差异和物体运动场景下的图像拼接的精度，实验结果表明该算法在存在较大运动或视差时能够生成明显更好的全景图。

    Nov, 2020

  • 利用多模态球面图像进行单帧语义分割

    本研究提出了一种基于 Transformer 的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真，通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文，通过在三个室内全景数据集中四种不同模态类型的组合进行彻底测试，我们的技术在 Stanford2D3DS（RGB-HHA）上达到了 60.60% 的 mIoU 性能，Structured3D（RGB-D-N）上达到了 71.97% 的 mIoU 性能，Matterport3D（RGB-D）上达到了 35.92% 的 mIoU 性能。

    Aug, 2023

  • 快速随机图像拼接的局部顶峰尺度不变特征变换

    通过结合局部极值尺度不变特征变换（LP-SIFT）算法和 RANSAC 算法，在图像拼接中实现了极大的速度提升，可以在 158.94 秒内拼接九张 2600*1600 像素的大图片，并且适用于地形绘制、生物分析和刑事调查等多种领域。

    May, 2024

  • 无监督深度图像拼接：重建拼接特征到图像

    本论文提出了一种基于无监督深度学习的图像拼接框架，包括无监督的粗略图像对齐和无监督的图像重建两个阶段，使用了降分辨率变形支路和提高分辨率的精化支路，其精度优于现有的其他技术。

    Jun, 2021

  • 用 GPU 加速的实时视频拼接的色彩校正和帧变形

    本文提出了一个实时系统，将多个视频序列拼接成全景视频，该系统基于 GPU 加速的颜色校正和帧变换，无需准确的相机参数。我们扩展了传统的 2D-Matrix (2D-M) 颜色校正方法和一种基于时空 3D-Matrix (3D-M) 的颜色校正方法进行局部区域的重叠处颜色平衡，并使用粗糙相机标定给出的成对单应矩阵进行全局变形，然后根据光流进行准确的局部变形。实验结果表明，我们的系统能够实时生成高质量的全景视频。

    Aug, 2023

  • 通过分割引导的多单应性变换，实现容忍视差的图像拼接

    通过使用图像分割引导的多单应性变换，本文提出了一种新颖的图像拼接方法，解决了图像间的大视差问题，并且在公共数据集上的综合实验结果表明，相较于现有方法，我们的方法具有更高的对齐精度。

    Jun, 2024

  • 一种基于全景立体图像的多模态园艺数据集和混合三维密集重建框架，用于修剪机器人

    提出了一个基于新设计全景立体相机和混合软件框架的解决方案，具有三个融合模块，包括视差融合、姿态融合和立体体积融合，用于从单视图点云中构建整个花园的网格。

    May, 2023

  • 基于特征和像素的新颖 OCT 镶嵌管线

    本文提出了一种多视图 OCT/OCTA 面投影图像拼接的通用流程，通过结合基于学习的特征匹配和健壮的基于像素的配准方法，有效地对齐多个图像。此外，我们还将基于训练的基础模型 Segment Anything Model (SAM) 的应用推进到了无监督方式验证拼接结果。通过对内部数据集和大型公共数据集的验证，我们的方法在准确性和计算效率方面都显示出优越的性能。同时，我们提供了图像拼接的评估工具和相应的流程公开下载。

    Nov, 2023