压缩深度图像超分辨率与恢复:2024年AIM挑战结果
本研究提出了一种创新性的统一框架来解决密集深度重建、相机姿态估计、超分辨率和去模糊的四个问题,通过反映物理成像过程,我们提出了一个成本最小化问题,并使用交替优化技术来解决它,实验结果表明,我们的提出方法在合成和现实视频中均得到高质量的深度图,同时还产生了优秀的去模糊和超分辨率图像。
Sep, 2017
本研究提出了一种深度模型,能在极少的像素点处获得 RGB 图像的已知深度情况下,精确地生成密集深度图,并能在 NYUv2 和 KITTI 数据集上实现近乎实时速度的室内/室外场景的高质量深度点云。与其他稀疏到密集深度方法相比,在每 ~10000 个像素中仅有一个像素的情况下,我们的深度估计准确度比现有最新算法还要高,仅在图像 1/256 的像素上估计,我们的精度就相当于消费级深度传感器的性能,本研究说明了将稀疏深度测量(如低功率深度传感器或 SLAM 系统获得)高效地转换成高质量的密集深度图是完全可能的。
Apr, 2018
该研究提出了一种基于卷积神经网络的方法,能够实时从狭窄的LDR相机图像估计HDR环境映射,从而在增强现实中呈现任何材质表面的虚拟物体的感性吸引的反射和着色,此算法比现有技术将光源方向估计的误差降低了50%以上,FID也获得了3.7倍的降低。
Nov, 2020
本文采用最大后验概率方法将低分辨率深度数据与高分辨率立体数据相结合,通过层次求解一系列局部能量最小化问题来产生深度图。通过新的相关函数、自适应成本聚合步骤以及基于场景纹理和摄像机几何的自适应融合方法,提出了一种精度更高的种子生长方法,避免了传播错误视差的倾向。该方法是高效的,可在标准台式计算机上以3 FPS的速度运行,并通过与现有方法的定量比较和实际深度-立体数据集的定性比较,证明了其强大的性能。
Dec, 2020
本文提出了一种新的深度图像超分辨率方法,利用移动手机和Lucid Helios采集的配对LR和HR深度图构建了一个名为RGB-D-D的大规模数据集,并提供了一个快速深度图超分辨率(FDSR)基准线,与现有公共数据集上的基准方法相比,我们的网络在效果和效率上都有很大的提升,并且可以处理真实世界中的LR深度图以产生更准确,清晰的边界,并在一定程度上修正深度值错误。
Apr, 2021
提出了一种快速准确的深度地图重构技术,通过当下常规的深度相机和彩色相机在杂交相机中的组合实现,这个方法不仅可以降低延迟,增加帧率,而且可以提高深度图的质量和准确性。
May, 2023
本文针对使用结构光技术获取的深度图进行提高分辨率的问题,通过修改FDSR和DKN两个深度学习模型以适应高分辨率数据,并实施数据预处理技术进行稳定训练。在我们自定义的1200个3D扫描数据集上对模型进行训练,并使用定性和定量评估指标对实现的高分辨率深度图进行评估。通过首先对高分辨率深度图进行下采样,对低分辨率数据进行各种处理步骤,然后上采样深度图或通过更便宜的设备提高低分辨率捕获的点云的分辨率,实现了深度图上采样的方法具有减少处理时间的好处。实验表明,FDSR模型在处理时间上表现优异,适用于在速度至关重要的应用;而DKN模型提供了更高精度的结果,适合优先考虑准确性的应用。
Nov, 2023
我们提出了一种新的方法,用于使用事件相机进行空间增强现实(SAR)应用的直接深度估计。我们的关键贡献包括将投影仪时间映射转换为矫正的X映射,捕获到来事件的x轴对应关系,并实现了无需额外搜索的直接差异查找,从而显著简化了深度估计过程以提高效率,并且与基于时间映射的方法相比,准确率相似。此外,我们通过简单的时间映射校准来补偿廉价激光投影仪的非线性时间行为,从而提高了性能和深度估计的准确性。由于深度估计仅通过两次查找执行,因此对于传入事件,几乎可以立即执行(使用Python实现每帧不到3毫秒)。这样可以实现实时交互和响应,使我们的方法特别适用于SAR体验,其中低延迟、高帧率和直接反馈至关重要。我们展示了将数据转换为X映射的有价值的见解,并将我们的深度从差异估计与基于时间映射的最新结果进行了评估。更多的结果和代码可在我们的项目页面上找到:[项目链接]。
Feb, 2024
本研究针对3D重建领域的有效性和复杂性问题进行了综述,特别关注基于深度学习的多视图立体视觉(MVS)方法。文章系统梳理了不同类型的学习方法,并着重探讨了深度图基础方法的优势和未来研究方向,强调其在图像重建中的潜在影响和应用前景。
Aug, 2024