神经透镜建模
通过引入高维度的神经模型 ——{lens blur field} 和一种实用的获取方法,我们成功解决了现代相机中复杂光学元素导致的光学模糊的建模难题,并展示了通过获取 5D 模糊领域可以揭示出同款智能手机设备的光学行为差异的现象。
Oct, 2023
通过可微分的球形镜头仿真模型和量化连续玻璃变量,结合精心设计的制造限制,提出了一种优化策略来设计具有改进成像质量的镜头,以支持终端到端的设计环境,实现对焦平面险些损失不凸的损失函数景观的优化,论文中的实验结果表明,即使简化为二或三元镜头,也能实现改进的检测性能,同时显著降低了图像质量。
Dec, 2022
LENS 是一种模块化的方法,针对计算机视觉问题,利用大型语言模型进行推理,可以应用于零 / 少样本对象识别,以及视觉和语言问题。
Jun, 2023
通过修改光线投射模型以利用透镜光学,我们提出了一种改进的模型,并且能够更好地匹配实际摄像机的虚焦模糊行为,特别是在部分遮挡的情况下,从而实现更锐利的重建,将全焦点图像的峰值信噪比在合成和真实数据集上提高了最多 3 dB。
Jun, 2024
通过神经网络的学习算法,本文设计了一种新颖的元表面结构,并结合新型的基于神经元特征的图像重建算法,在全彩超小场景,完成首个高质量的纳米光学成像装置,同时实现最宽的视野和最大的 0.5mm,f/2 光圈。
Feb, 2021
本文提出利用神经投影映射技术在增强现实应用中实现对投影仪的高分辨率自适应校准和照片级别的光线编辑。通过将虚拟投影纹理与场景参数全微分,可以优化得到所需的外观。此外,本文展示了在材料和场景重建等方面,较传统方法更好的性能。
Jun, 2023
通过引入 Feature Lenses,可以在不重新训练的情况下,使卷积神经网络在面对各种图像变换时更具鲁棒性,提高其不变性,此方法是基于无监督的自身对比学习训练的。在 ImageNet、MNIST-rot 和 CIFAR-10 数据集上验证,Feature Lenses 相较于基线方法表现出明显优势。
Apr, 2020
本文介绍了一种名为 ViT-Lens 的方法,通过使用预训练的 ViT 模型感知新颖形式的多模态数据,并与预定义空间进行对齐,从而实现高效的全模态表示学习。在以 3D 为例的验证中,ViT-Lens 在零样本 3D 分类任务中取得了显著的改进,同时还成功将训练好的 3D lens 集成到 InstructBLIP 模型中实现了零样本 3D 问答。
Aug, 2023
本研究提出了一个基于模型的优化框架,用于从加工样本的空间频率响应中构建代理相机,进而为训练基于学习的算法提供光学畸变和随机制造偏差的合成数据对,并利用超扩张全方位动态卷积来纠正制造降解,从而实现全面的计算摄影。
May, 2023