使用单色点投影进行深层次高光谱深度重建
本研究探索了使用光度学技术(阴影形状和非标定光度立体)将RGB-D传感器的低分辨率深度图上采样到伴随的RGB图像的高分辨率。首先提出了一种有效的单次变分方法,而这依赖于目标的反射率是分段常数。随后,展示了这个依赖特定反射模型的限制可以通过关注特定类别的对象(例如面部),并将反射率估计委托给深度神经网络来缓解。最后讨论了一种基于随机变化光照条件的多次采集策略。这不需要反射率的培训或先前知识,但其代价是专用采集设置。通过定量和定性评估,证明了所提出方法在合成和真实场景中的有效性。
Sep, 2018
本文提出针对RGB图像的光谱重建问题一种基于深度学习和卷积网络的高效解决方案,使用参考光谱进行敏感度函数估计,并讨论普适性与特化模型的局限性,实验结果表明,从单张RGB图像准确进行光谱估计已经可以在一定程度上实现。
Dec, 2018
本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法,旨在从六幅图像中重建物体的高质量几何结构和空间变化的BRDF,通过最小化光度误差优化多视角反射率网络的潜在空间,成功地实现了从稀疏数据中重建出高质量的物体,进而渲染出真实的图像。
Mar, 2020
本文回顾了RGB图像中光谱重建的第二个挑战,并评估了其现状,其中提供了一个大型自然高光谱图像数据集,并提供了一些最佳的重建方法来获取整个场景的高光谱信息。
May, 2020
本研究提出了一种基于四级分级回归网络和PixelShuffle层的高光谱图像重建方法,采用残差密集块来消除实际RGB图像的伪影,并采用残差全局块来建立注意机制扩大感知范围,通过NTIRE 2020 Challenge比较各种架构和技术,本方法获得了轨道2 - 实际图像的胜利,并在轨道1 - 清晰图像上排名第三。
May, 2020
该研究提出了一种新颖的轻量级、端到端学习的框架,能够在没有成对的高光谱和 RGB 图像训练数据的情况下,从单个 RGB 图像重建高光谱图像,并在合成和实际数据上实现了更好的性能。
Aug, 2021
通过新颖的多视图方法DeepShaRM,本研究提出了一种能够在未知自然光照条件下(即野外环境)重建无纹理、非兰伯特物体几何的几何重建方法。该方法通过引入深度反射率图估计网络,从当前几何估计的表面法线和输入的多视图图像中恢复相机视角的反射率图,并明确估计每个像素的置信度来处理全局光传输效应。然后,通过深度自遮蔽网络利用恢复的反射率图更新由符号距离函数表示的几何估计,通过这两者的交替迭代,并且避开了反射率和光照分解难题,该方法能够准确恢复这些复杂环境中的物体几何结构。通过对合成和真实数据的大量实验证明了该方法的准确性。
Oct, 2023
从灰度引导图像和空间稀疏光谱线索中重构高光谱图像的上色算法,在低秩空间中上色可以减少计算时间和快门噪声的影响,以提高鲁棒性,并超过以往算法在多种性能指标方面,包括SSIM、PSNR、GFC和EMD,这些结果为克服时间-空间-波长分辨率权衡提供了一种有希望的途径。
Mar, 2024
利用NeRFs的最新进展,我们提出了一种计算超光谱3D重建的方法,其中空间中的每个点和视角都以波长相关辐射和透射光谱为特征。通过对近2000个超光谱图像进行对比和消融测试,我们证明了超光谱NeRF的潜力,包括超分辨率和成像传感器模拟。我们展示了超光谱NeRF方法可以快速、准确地创建体积化的3D超光谱场景,并为未来研究提供了几个新的应用和领域。
Mar, 2024
我们介绍了一种经济、紧凑且易于使用的主动照明相机,可在许多应用中受益,通过测试植物根部成像表明了相机获得了比传统RGB相机更多的信息能力,并且可以从多光谱输入重构高光谱数据,与原始高光谱相机数据兼容。
Jun, 2024