注意出瞳间隙:重新审视标准光学平片相机的内在特性
本文提出了一种新的使用多焦点光场相机的原始图像进行度量深度估计的算法,该算法特别适用于使用多个具有不同焦距的微透镜的多焦点配置。我们通过集成对应关系和模糊度线索利用模糊可知信息来改进失焦立体图像的视差估计,从而改进视差估计,并提出了逆投影模型的方法以达到精确和准确的度量深度估计。最终的结果表明,引入模糊度线索可以改善深度估计。我们通过对相对深度估计和通过 3D 激光雷达扫描仪获得的真实世界 3D 复杂场景进行地面真实度评估来证明我们的算法和深度尺度校准的有效性。
Aug, 2023
本文提出了一种损失端到端学习的架构,用于高效地压缩聚焦光学图像,包括数据预处理方案,全局注意力模块和新的图片数据集,可有效地捕捉聚焦透镜图像的复杂纹理和微图像之间的长距离关联,通过在重采样处理中计算像素级向量注意力来捕获特征图之间的全局相关性,实验证明,该方法在 Focused plenoptic cameras 中具有很高的效果,并且比 HEVC 和 VVC 的帧平均降低 62.57%和 51.67%的比特率,比最新的端到端图像压缩方法节省了 18.73%的比特率,并且产生具有感知愉悦性的重建
Apr, 2023
本文介绍了深层光学的概念,通过编码式的散焦模糊作为额外的深度线索,以端到端设计的光学和图像处理结合来解决单张图像的深度估计问题,提出了几种光学编码策略,并针对三个数据集进行了深度估计的端到端优化方案评估,结果表明在自由镜面设计方面得到了最佳结果,同时,使用单片透镜的色差也可以实现显著的改善深度估计性能,我们构建了一个物理原型,并验证色彩象差改善了在真实世界中的深度估计结果。此外,我们还在 KITTI 数据集上训练了物体检测网络,并表明为深度估计优化的镜头也导致改进了 3D 物体检测性能。
Apr, 2019
本研究提出了一个基于模型的优化框架,用于从加工样本的空间频率响应中构建代理相机,进而为训练基于学习的算法提供光学畸变和随机制造偏差的合成数据对,并利用超扩张全方位动态卷积来纠正制造降解,从而实现全面的计算摄影。
May, 2023
本文介绍了一种基于多平面图像格式的新型视角合成方法,在不需要时间注册的情况下,从非结构化的照片集合中无监督地学习了这些效果的模型,并具有实时合成连续的空间和时间照明变化下逼真图像的能力,其中 DeepMPI 表现出了非常好的稀疏性能。
Jul, 2020
本文提出了一个基于双目图像深度估计和重聚的物理学启示管道,以在移动相机中从全聚焦双目图像中模仿 DSLR 相机的浅景深效果,从而实现在 76 FPS 的实时应用。相对于其他方法,我们的管道同时是可完全区分的、受物理启发的、不受场景内容的影响,还可以在静态图像场景中实现计算机视频焦点跟踪,我们还使用 SceneFlow、KITTI、CityScapes 等公共数据集对我们的方法进行了评估。
Sep, 2019
本研究提出一种神经镜头模型 ——NeuroLens,通过神经网络对失真和暗角进行建模并进行优化,可用于预捕捉校准、重新校准,同时可集成到现有的三维重建和渲染系统中,并在比起标准配套和最新方法时表现更好。
Apr, 2023
本论文介绍了在内窥镜图像中利用光度线索提高单目深度估计的方法,并通过使用自监督和监督训练的方法,结合教师 - 学生迁移学习,实现了对内窥镜图像的高质量深度估计。
Mar, 2024
通过提出一种端到端的非标定多视点 PS 框架,以实现在真实环境中通过稀疏视点获取高分辨率形状的重建,摒弃了黑暗室的假设,并允许静态环境光和动态 LED 光的组合,从而实现了在实验室外轻松捕获数据,并通过实验证实,在稀疏视点情况下超越了现有的基准方法,将高精度三维重建从黑暗室引入到现实世界中,并保持了合理的数据采集复杂性。
Mar, 2024