基于事件的偏振形状恢复
该研究提出了一种新的基于数据驱动和物理学先验信息的场景级别单极化图像法线估计方法,并且建立了第一个真实场景级别形态恢复数据集。该方法采用了多头自注意力与视图编码来处理在野外环境中形成的极化杂波和联机投影问题,实验结果表明,相对于现有的形态恢复方法,该方法具有更好的性能。
Dec, 2021
本研究运用深度学习探讨了极化成形(SfP)问题。通过将物理模型融入神经网络架构中,创新性地兼顾了数据驱动和物理驱动,取得了在不同光照、材质和涂装条件下的最佳测试结果。
Mar, 2019
本文提出了一种新的使用视点和极化数据来完整分离漫反射和镜面反射组件、恢复折射率和最终恢复三维形状的方法,在分离过程中涉及了极化的物理特性,证明了与基准方法有竞争力的结果,并恢复了其他信息(例如折射率)
May, 2016
本文介绍了一种利用极化成像的端到端深度学习方法来实现物体表面法线的高精度三维重建的方法,并通过定量和定性的评估结果表明,该方法相较于基于物理的方法在整个数据集上能够以最低的平均角误差(MAE)值为 18.06 度来准确重建物体表面法线。
Jun, 2024
通过将 SfP 的偏振线索与 PMD 的几何信息相结合,我们引入了一种测量原理,可以准确解码具有高光面反射的光场中包含的信息,并解决 3D 测量中的各种歧义问题,并且我们的方法去除了 SfP 的不切实际正交成像假设,显著提高了测量结果,演示了在复杂形状的高光表面上通过单次和多次拍摄的测量手段,验证了表面法线的精度在 0.6° 以下。
Jun, 2024
该研究提出了一种基于 Swin-Transformer 的多阶段多尺度网络,称为 Swin-VFI,引入了一种定制的损失函数以促进网络对极化变化的理解。实验结果表明,该方法在所有任务中具有优越的重建精度。
Jun, 2024
由于事件传感器具有高时间分辨率的视觉感知能力,在不受运动模糊的影响下,它们成为感知快速视觉现象的理想选择。我们提出了基于事件感知的结构 - 轨道(eSfO)方法,旨在同时重建由静态事件相机观察到的快速旋转对象的三维结构,并恢复相机的等效轨道运动。通过开发一种基于时空聚类和数据关联的新型事件特征跟踪器来跟踪有效特征的螺旋轨迹,将特征轨迹输入到基于因子图的结构 - 轨道后端,计算最小化投影误差的轨道运动参数(例如自旋速率、相对旋转轴)。通过与地面真值的比较,我们构建了一组新的事件数据集,并验证了 eSfO 的有效性。
May, 2024
该研究论文提出了一种针对服装人体的三维形状估计方法,通过使用极化图像捕获几何线索来重构人体表面法线图,并采用深度学习模型将其转化为 3D 人体形态估计,其结果表明极化相机对于人体形态估计是一种有前途的替代方法。
Jul, 2020
传统相机在低光性能和高速成像之间存在权衡,长曝光时间捕捉足够的光会导致运动模糊,而短曝光时间会导致泊松受损噪声图像。我们介绍了一种传感器融合框架,将单光子雪崩二极管(SPAD)传感器与事件相机相结合,以实现低带宽要求下对高速低光场景的重建。我们的评估在合成和真实的传感器数据上表明,相比传统相机,在高的时间分辨率(100 kHz)下重建低光场景方面,事件 - SPAD 融合显示出了显著的提升(> 5 dB PSNR)。事件 - SPAD 融合在机器人技术或医学成像等实际应用中具有巨大潜力。
Apr, 2024
本研究探讨了利用微型极化器技术进行高动态范围成像,通过对不同极化滤镜角度获取的多张图像进行不同曝光时间的拟合,最终提出了一种基于深度快照的 HDR 重建算法,并创建了数据集进行验证,结果表明该方法超越了现有最先进的 HDR 重建算法。
May, 2021