Jun, 2022

RGB-多光谱匹配：数据集、学习方法、评估

HTML
PDF
TL;DR本研究旨在解决颜色图像和多光谱图像之间分辨率差异大的问题，提出了一种深度学习架构，并利用自监督学习以及RGB-RGB匹配任务的知识来实现跨模态匹配。通过在室内环境下拍摄13个场景的图像对，并标注了34个具有高分辨率标签的图像对，通过实验证明该方法在使用深度学习进行该任务时性能表现良好。
发现论文，激发创造
  • 高光谱光场立体匹配

    本文介绍了如何使用全谱光场捕获（H-LF）系统提取场景深度。我们的方法分为两个部分，第一部分是新的跨光谱配对技术，第二部分是使用H-LF立体匹配。实验结果表明，我们的方法能够产生高质量的视差图，并且可以用于产生完整的光场，并合成不同光谱响应下的全焦和散焦彩色图像。

    Sep, 2017

  • 一个用于改善补丁匹配的大型数据集

    我们提出了一个新的数据集，用于学习本地图像描述符，可用于显着改善补丁匹配。此新数据集的训练效果比目前的 Multi-View Stereo (MVS) 数据集更好，并且还提供了补充信息，例如 RGB 补丁、相机参数等。我们使用此数据集训练现有的最先进模型，并在公开基准测试中获得了比 MVS 数据集训练的最先进描述符更好的性能。

    Jan, 2018

  • 基于深度 CNN 的 RGB-D 场景识别：从零开始学习优于从 RGB-CNN 转移

    本研究利用卷积神经网络和弱监督方法，提出了一种能够在有限深度图像条件下学习具有较强区分性的深度特征，从而实现了RGB-D场景识别的最新成果，达到了最好的表现。

    Jan, 2018

  • 在野外从单个RGB图像中实现光谱估计

    本文提出针对RGB图像的光谱重建问题一种基于深度学习和卷积网络的高效解决方案，使用参考光谱进行敏感度函数估计，并讨论普适性与特化模型的局限性，实验结果表明，从单张RGB图像准确进行光谱估计已经可以在一定程度上实现。

    Dec, 2018

  • AdaStereo：一种简单高效的自适应立体匹配方法

    提出了一种名为AdaStereo的领域自适应立体匹配网络，通过颜色传输、代价规范化和无监督的遮挡感知重建等多种方法实现多层次特征对齐和跨领域匹配，取得了KITTI、Middlebury、ETH3D和DrivingStereo等多个基准数据集上的最新成果。

    Apr, 2020

  • NTIRE 2020 挑战赛：从 RGB 图像中重建光谱

    本文回顾了RGB图像中光谱重建的第二个挑战，并评估了其现状，其中提供了一个大型自然高光谱图像数据集，并提供了一些最佳的重建方法来获取整个场景的高光谱信息。

    May, 2020

  • 匹配空间立体网络用于跨领域泛化

    本文提出一种名为Matching-Space Networks (MS-Nets)的新型网络结构，通过从RGB值中提取学习特征转而利用Matching Space的匹配函数和置信度测量来实现图像的立体匹配，避免过度专门化到特定领域的特征，达到了更好的泛化性能和准确率表现。

    Oct, 2020

  • 野外单个RGB图像中基于语义嵌入的无监督光谱重建

    该研究提出了一种新颖的轻量级、端到端学习的框架，能够在没有成对的高光谱和 RGB 图像训练数据的情况下，从单个 RGB 图像重建高光谱图像，并在合成和实际数据上实现了更好的性能。

    Aug, 2021

  • 从 RGB 图像中学习恢复光谱反射率

    本文提出了一种基于自我监督元辅助学习策略的新型架构，应用于从RGB图像中恢复光谱反射率的问题，并在算法中引入了光谱反射率与对应RGB图像之间的物理关系以及多种光照条件下的多图像信息以提高模型效果。

    Apr, 2023

  • 使用RGB卷积神经网络的多光谱纹理合成

    该研究解决了将先进的RGB纹理合成方法扩展到多光谱图像的困难，因为现有模型只针对RGB图像进行训练。提出了两种无需重新训练神经网络的解决方案，分别通过训练随机光谱带三元组和将多光谱像素投影到三维空间来实现。实验表明这些方法能够达到良好的视觉质量，并接近RGB图像上的先进方法。

    Oct, 2024