图像质量不是您所需的全部:面向图像分类的任务驱动透镜设计
本研究探讨图像超分辨率如何在低分辨率图像目标检测任务中发挥积极作用,提出了一种新的框架来训练深度神经网络,通过传统检测 loss 与显式结合得到的检测 Loss 来优化超分辨率子网络,证明了任务驱动的超分辨率能显著提高各种条件和缩放因子下目标检测器在低分辨率图像上的准确性。
Mar, 2018
本文介绍了深层光学的概念,通过编码式的散焦模糊作为额外的深度线索,以端到端设计的光学和图像处理结合来解决单张图像的深度估计问题,提出了几种光学编码策略,并针对三个数据集进行了深度估计的端到端优化方案评估,结果表明在自由镜面设计方面得到了最佳结果, 同时,使用单片透镜的色差也可以实现显著的改善深度估计性能,我们构建了一个物理原型,并验证色彩象差改善了在真实世界中的深度估计结果。此外,我们还在KITTI数据集上训练了物体检测网络,并表明为深度估计优化的镜头也导致改进了3D物体检测性能。
Apr, 2019
通过联合训练光学编码器和电子解码器,优化PSF参数的镜头表面,并将其作为硬件附加件添加到传统相机中,我们证明这种深度光学成像的单拍HDR成像方法优于纯CNN方法和其他PSF工程方法。
Aug, 2019
通过引入Feature Lenses,可以在不重新训练的情况下,使卷积神经网络在面对各种图像变换时更具鲁棒性,提高其不变性,此方法是基于无监督的自身对比学习训练的。在ImageNet、MNIST-rot和CIFAR-10数据集上验证,Feature Lenses相较于基线方法表现出明显优势。
Apr, 2020
本文介绍了利用深度学习设计Diffractive Deep Neural Networks (D2NNs)进行光计算,在特征工程和集成学习方面的改进,以提高其图像分类准确度,并在CIFAR-10测试图像上达到了61.14%和62.13%的盲测试准确率,是目前任何衍射光神经网络设计方法在相同数据集上所取得的最高推理准确度,并可能提供跨越衍射光影像分类和机器视觉系统应用空间的重大飞跃
Sep, 2020
通过可微分的球形镜头仿真模型和量化连续玻璃变量,结合精心设计的制造限制,提出了一种优化策略来设计具有改进成像质量的镜头,以支持终端到端的设计环境,实现对焦平面险些损失不凸的损失函数景观的优化,论文中的实验结果表明,即使简化为二或三元镜头,也能实现改进的检测性能,同时显著降低了图像质量。
Dec, 2022
通过引入高维度的神经模型——{lens blur field}和一种实用的获取方法,我们成功解决了现代相机中复杂光学元素导致的光学模糊的建模难题,并展示了通过获取5D模糊领域可以揭示出同款智能手机设备的光学行为差异的现象。
Oct, 2023